Information technology for training quality assessmentof students on based expert-statistical methods.pdf Целью настоящего исследования была разработкаинформационной технологии для решения задач оцен-ки качества обучения студентов технического универ-ситета. Для достижения поставленной цели необходи-мо было решить следующие задачи [1]: разработатьсхему оценки качества обучения студентов техниче-ского вуза; создать инструментарий (алгоритмическую ипрограммную базу) для обработки информации, полученнойв результате исследования качества отдельных объектов об-разовательного процесса; сформировать набор психоди-агностических и педагогических измерителей (тестов);разработать алгоритм построения формализованных кри-териев для решения задач оценки качества объектовобразовательного процесса; разработать систему под-держки принятия решения для определения степени со-ответствия объекта образовательного процесса некоторымзаданным условиям и прогнозирования успешности аби-туриентов, студентов и молодых специалистов в различ-ных сферах интеллектуальной деятельности; разрабо-тать программное обеспечение для контроля и оценки оста-точных знаний абитуриентов, студентов и выпускников.Информационная технология оценки качества обу-чения студентов базируется на экспертно-статистиче-ских алгоритмах, предназначенных для решения при-кладных задач и позволяющих создать единый ком-плекс программного обеспечения.1. УНИВЕРСАЛЬНЫЙ БЛОК АНАЛИЗА РЕЗУЛЬТАТОВ ЭКСПЕРТНОГО ОЦЕНИВАНИЯПрименение экспертного оценивания позволяет по-лучить наиболее полную информацию о состоянии об-разовательного процесса и особенно тех его составля-щих, для оценки которых невозможно использоватьколичественные показатели. На рис. 1 приведена общаясхема оценки качества обучения студентов с использо-ванием разработанных авторами алгоритмов.ю204Рис. 1. Схема оценки качества обученияВ качестве экспертов могут выступать студенты, выпу-скники вуза, потенциальные работодатели и преподаватели.В статье предлагается комплексный алгоритм обработки ианализа результатов экспертных оценок, схема которогопредставлена на рис. 2. На основе этого алгоритма решена, вчастности, задача выявления требований руководителейпредприятий и фирм к молодым специалистам [2]. В рамкахрешения задачи выявления требований руководителей пред-приятий и фирм к молодым специалистам получены резуль-таты экспертного оценивания специалистов 29 фирм, средикоторых были широко известные фирмы Томска и области,например такие, как Waterloo Hydrogeologic (создание про-граммного обеспечения), Игрем (продажа и сервисное об-служивание компьютерной техники), ЗАО НПФ «Сибнеф-текарт» (разработка программно-аппаратных комплексов),Контек (разработка и внедрение программного обеспече-ния), Гранит (сборка компьютеров, настройка программногообеспечения), Сибирский химический комбинат и др. [1].Сбор первичных данных (экспертных оценок)205Рис. 2. Схема алгоритма обработки и анализа результатов экспертного оцениванияОсновной целью анкетирования было выявлениеосновных характеристик специалиста в области ком-пьютерных технологий, программного и математиче-ского обеспечения ЭВМ. Результаты анализа эксперт-ных оценок показали, что мнения экспертов оказалисьсогласованными, кроме четырех фирм, здесь требуетсяпривлечение дополнительных экспертов для получениядостоверных результатов.В процессе обработки выделилось блоки профес-сионально значимых качеств: общие требования; спе-циальные требования; требования к личности.Для определения обобщенных профессиональнозначимых качеств специалиста-выпускника АВТФ с точ-ки зрения руководителей предприятий и организаций,был проведен факторный анализ. Результаты решенияданной задачи представлены в табл. 1.Т а б л и ц а 1Выявленные группы экспертов-руководителейГруп-па% от общегочисла экспертов Описание1 41 Эта группа руководителей «ждет» от специалиста только безупречного знания своего дела,высокой работоспособности2 23 Эти руководители «ждут» от молодого специалиста динамичной работы: стремления к про-фессиональному росту, самостоятельности в работе3 17 Эти руководители «ждут» от молодого специалиста высокую профессиональную подготов-ку и динамичную работу4 11 Это авторитарный тип руководителя, который в молодом специалисте видит только каче-ственную рабочую силу5 8 Равнодушный тип. Эти руководители не смогли определить наиболее приемлемые лично-стные качества молодого специалиста для работы на своем предприятии, лишь бы работалАнализ оценок экспертов посредством предложен-ных авторами алгоритмов показывает, что большаячасть работодателей оценили предлагаемые качества,ориентируясь на профессиональную модель будущегоспециалиста. Прослеживается также тенденция в уни-версальном подходе подготовки специалиста, ориенти-рованном на наличие творческих, интеллектуальныхспособностей и определенных личностных качеств сту-дентов, способствующих профессиональной самореа-лизации.2. ВЫЯВЛЕНИЯ СКРЫТЫХ ЗАКОНОМЕРНОСТЕЙ В СТРУКТУРЕ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССАНА ОСНОВЕ МНОГОМЕРНОГО СТАТИСТИЧЕСКОГО АНАЛИЗААвторами предложена технология выявления скры-тых закономерностей объектов образовательного про-цесса на основе методов многомерного статистическогоанализа. В состав этой технологии входит разработан-ный авторами алгоритм построения формализованныхкритериев для решения прикладных задач оценки каче-ства объектов образовательного процесса, который яв-ляется развитием подхода, предложенного в работахС.А. Айвазяна, З.И. Бежаева, О.В. Староверова [3].Факторный анализ использовался для понижения раз-мерности множества исходных признаков и полученияформализованных критериев для количественной оценкикачества объектов образовательного процесса. Основнаямодель факторного анализа представлена формулой (1) [4].i = 1, …, p, , (1)1Σ== +kjxi aij f j eiгде fj, j = 1, …, k − латентные переменные (факторы),k < p; xi,..., i = 1, …, p - наблюдаемые переменные (ис-ходные признаки); аij - факторные нагрузки; еi - слу-чайная ошибка измерения.Полученные факторы представляют собой линей-ные функции вида:Yi = f11 ⋅ x1 + f12 ⋅ x2 + ... + f1p ⋅ xp , (2)где i = 1,..., m; j = 1, 2,..., p; m - количество факторов; p -количество переменных; fij - нагрузка i-го фактора на j-юпеременную; xj - переменные. Предлагается использо-вать функцию вида (2) в качестве формализованногокритерия для оценки качества объектов образователь-ного процесса. Для выделения имеющихся однородныхгрупп (типов) исследуемых объектов в работе исполь-зовался метод k-средних кластерного анализа.В [1, 5] показана эффективность работы предло-женного подхода на примере решения следующих при-кладных задач: оценка качества содержания учебныхдисциплин; оценка качества преподавательской дея-тельности. Так, например, в задаче оценки профессио-нальных качеств преподавателей получены следующиеформализованные критерии (исходные признаки xiявляются результатами анкетирования студентов):− критерий YПедМ - для оценки педагогического мас-терства преподавателя: YПедМ = 0,87х1+ 0,87х2+ 0,92х3 ++ 0,83х4 + 0,88х5 + 0,78х6 + 0,89х7 + 0,68х8 + 0,79х14;− критерий YЛичК − для оценки личностного качествапреподавателя: YЛичК= 0,93х9+ 0,73х12 + 0,60х13 +0,54х18;− критерий YПрофК - для оценки профессиональнойкомпетентности преподавателя: YПрофК= 0,86х10+ 0,51х11,где х1 − доступное изложение материала; х2 − разъясне-ние сложных мест; х3 − выделение главных моментов;х4 − умение вызвать и поддержать интерес аудитории кпредмету; х5 - обратная связь с аудиторией; х6 - побу-ждение к дискуссии; х7 - логика в изложении; х8 -культура речи; х9 - умение снять напряжение аудито-рии; х10 - ориентация на использование изученного ма-териала в будущей деятельности; х11 - творческий под-ход; х12 - доброжелательность и тактичность; х13 - тер-пение; х14 - требовательность; х15 - заинтересованностьв успехах студентов; х16 -объективность в оценке зна-ний; х17 - уважительное отношение к студентам; х18 -эрудиция.Применение кластерного анализа при решении дан-ной задачи позволило выявить основные типы препо-давательской деятельности [4].Проверка эффективности полученных формализован-ных критериев (YПедМ, YЛичК, YПрофК) была проведена на ос-нове анализа значений коэффициента корреляции Спирме-на (rs) между значениями данных критериев и рейтинговы-ми оценками профессиональной деятельности преподава-теля по этим же составляющим. Полученные значения rsоказались статистически значимыми (p < 0,01).Применение кластерного анализа при решении дан-ной задачи позволило выявить основные типы препода-вательской деятельности [5, 9]. Результаты решениядругих прикладных задач приведены в работе [1].3. АЛГОРИТМ ПРИНЯТИЯ РЕШЕНИЯ С УЧЕТОМ РАЗНОТИПНОСТИ ИСХОДНЫХ ДАННЫХДля работы с разнотипными признаками предложеналгоритм принятия решений с учетом разнотипностиисходных данных, основанный на подходе, предложен-ным Е.В. Гублером (использование неоднородной по-следовательной процедуры распознавания − НПП) [6]. Вэтом случае формула принятия решения имеет вид10 lg 1 Σ Σ ( ) 10 lg 1 β ,− α<

Скачать электронную версию публикации