Technique of identification of weighting coefficients of themes complexity in the distance course on basis of Saati’s al.pdf Введение Структуризация лекционного материала обеспечивает высокую эффективность его восприятия студентами [1, 2]. Квантование текста является одним из видов подобной структуризации. В настоящее время разрабатываются количественные методы оценки качества квантования учебного текста [15]. Выделение ключевых элементов темы и формирование набора тестовых заданий для контроля знаний по данным элементам позволяют более точно обнаруживать сложные для усвоения студентами элементы курса, которые в дальнейшем могут быть модифицированы: упрощение стиля изложения элементов, расширение материала практическими примерами и т.п. В то же время возникает проблема выставления итоговой оценки, учитывающей сложность тем учебного курса. Знание априорной оценки сложности усвоения тем дистанционного курса, т.е. оценки, предшествующей изучению темы обучающимся и прогнозирующей статистическую трудность, необходимо учителю, с одной стороны, для построения дистанционного курса с заданными дидактическими характеристиками; с другой стороны, для объективной оценки текущих и итоговых результатов обучения, на основании которых строится управление ходом обучения. В системах дистанционного обучения степень усвоения учебного курса оценивается по результатам тестирования обучаемых [11]. В настоящее время большое внимание уделяется повышению точности оценки результатов обучения в системах дистанционного обучения. В работе [13] для этого предлагается учитывать процесс формирования пользователем конечного ответа на задания в тестовой форме, а в работе [16] даются инновационные формы заданий для компьютерного тестирования знаний. Задача разработки технологии априорной объективной оценки сложности тем дистанционного курса остается актуальной. Постановка задачи Интегральная оценка качества усвоения дистанционного учебного курса, как правило, рассчитывается на основе оценок, полученных обучаемым в результате прохождения всех заданий учебного курса. Например, в системе Moodle [12] предусмотрены следующие подходы к вычислению интегральной оценки качества усвоения учебного курса [14]: среднее оценок, взвешенное среднее оценок, медиана оценок, низшая оценка, высшая оценка, мода оценок, сумма оценок. Рассмотрим подходы к вычислению интегральной оценки качества усвоения на следующем примере. Пусть пользователь системы дистанционного обучения по результатам выполнения тестовых заданий получил по темам учебного курса следующие оценки (по стобалльной шкале): 85, 78, 65, 76, 78, 73, 80, 82, 83, 77, 62, 78, 65. Тогда интегральная оценка может быть вычислена следующими методами: 1) Среднее оценок - сумма всех оценок по темам делится на общее количество оценок: (85+78+65+76+78+73+80+82+83+77+62+ +78+65) / 13 = 75,85. 2) Взвешенное среднее оценок - каждой теме может быть поставлен в соответствие вес, который будет отражать ее важность при подсчете итога. Сумма весов всех оценок должна быть равна 1. В этом случае итог вычисляется следующим образом: суммируются значения каждого элемента оценивания умноженные на его вес: (85·0,04+78·0,15+65·0,08+76·0,07+78·0,08+ +73·0,04+80·0,08+82·0,06+83·0,06+77·0,1+ +62·0,08+78·0,09+65·0,07) = 75,63. Проблема заключается в объективном назначении весов тем. 3) Медиана оценок - центральная оценка (или среднее из двух центральных) из отсортированного по возрастанию списка: (62, 65, 65, 73, 76, 77, 78, 78, 78, 80, 82, 83, 85) = 78. Преимущество перед средним в том, что медиана не подвержена влиянию со стороны оценок, которые находятся слишком далеко от среднего. 4) Низшая оценка - наименьшая оценка после нормализации: min(62, 65, 65, 73, 76, 77, 78, 78, 78, 80, 82, 83, 85) = 62. 5) Высшая оценка - наибольшая оценка после нормализации: max(62, 65, 65, 73, 76, 77, 78, 78, 80, 82, 82, 83, 85) = 85. 6) Мода оценок - наиболее часто встречающаяся оценка: mode(62, 65, 65, 73, 76, 77, 78, 78, 78, 80, 82, 83, 85) = 78. Эта стратегия чаще используется с нечисловыми оценками. Преимущество перед средним в том, что мода не подвержена влиянию со стороны оценок, которые находятся слишком далеко от среднего. Однако эта стратегия теряет свой смысл, если несколько оценок будут встречаться часто (в итог попадет только одна) или все оценки. 7) Сумма оценок - сумма всех значений оценок: (85+78+65+76+78+73+80+82+83+77+62+ +78+65) = 986. Из всех подходов только «взвешенное значение оценок» учитывает сложность тем дистанционного курса путем определения весового коэффициента для теста, ассоциированного с этим модулем. Возникает проблема выбора оценок учебных модулей в рамках дистанционного курса. В качестве научно обоснованного подхода к определению весов тем дистанционного курса может быть использован алгоритм Т. Саати [7]. Применение алгоритма Саати для определения весовых коэффициентов сложности дистанционного курса Вопросами использования метода оценки пар объектов по степени сходства между ними для процесса шкалирования занимался психолог [8]. Метод попарных сравнений также может быть успешно применен и к объектам, образующим структуру дистанционного курса. Алгоритм Т. Саати основан на автономном сравнении сложности тем дистанционного курса, выполняемом одним экспертом. Для каждой пары тем дистанционного курса эксперт указывает, в какой степени одна из них сложнее другой. IDEF0-модель процедуры принятия решения о назначении весов темам дистанционного курса представлена на рис. 1. Рассмотрим применение этого метода на следующем примере: необходимо определить веса сложности тем лекций дистанционного курса «Машинно-зависимые языки» на основе консультации с экспертом. Темы лекций учебного курса «Машинно-зависимые языки» представлены в табл. 1. Таблица 1 Темы лекций учебного курса «Машинно-зависимые языки» № темы дистанционного курса Наименование темы лекции A1 Введение. Цели и задачи дисциплины A2 Программная модель микропроцессора INTEL 8080, регистры A3 Форматы и системы команд, методы адресации A4 Команды пересылки данных и работы со стеком A5 Арифметические команды A6 Команды сравнения A7 Логические команды и команды сдвига A8 Введение в описание строкового формата и цепочных команд A9 Общие сведения о работе цепочных команд A10 Цепочные команды A11 Сопроцессоры. Способы обмена информацией между ЦП и сопроцессором A12 Команды математического сопроцессора A13 Математический сопроцессор IDEF0-модель процедуры вычисления весовых коэффициентов тем дистанционного курса представлена на рис. 2. Вычисление весовых коэффициентов сложности тем дистанционного курса выполняется в следующем порядке: 1. Экспертом заполняется матрица парных сравнений размером n × n, где n - количество тем учебного курса. Матрица заполняется по правилам, приведенным в табл. 2. Таблица 2 Правила заполнения матрицы парных сравнений тем дистанционного курса по сложности усвоения xij Значение 1 i-я и j-я темы имеют примерно одинаковую сложность 3 i-я тема немного сложнее j-й 5 i-я тема сложнее j-й 7 i-я тема значительно сложнее j-й 9 i-я тема явно сложнее j-й Если i-я тема легче, чем j-я, то указываются обратные оценки (1/3, 1/5, 1/7, 1/9). Могут использоваться промежуточные оценки (2, 4, 6, 8 и 1/2, 1/4, 1/6, 1/8), например, если i-я тема совсем немного сложнее j-й, то можно использовать оценку xij = 2 (тогда xji = 1/2). На главной диагонали ставятся единицы. Пусть эксперт заполнил матрицу парных сравнений тем дистанционного курса, как показано в табл. 3. Здесь, например, элемент x21=7 означает, что тема A2, по мнению эксперта, значительно сложнее для усвоения, чем тема A1. Элемент x53=1/5 означает, что тема A5 легче, чем тема A3. Элемент x32=3 означает, что тема A3 немного сложнее для усвоения, чем тема A2. 2. Вычисляем оценки сложности тем дистанционного курса - средние геометрические строк матрицы парных сравнений: , (1) где n - количество тем учебного курса. Алгоритм вычисления среднего геометрического состоит из следующих шагов: 1) перемножаем элементы каждой строки и записываем полученные результаты в столбец; 2) извлекаем корень n-й степени из каждого элемента найденного столбца; 3) складываем элементы этого столбца; 4) делим каждый из этих элементов на полученную сумму. Нормализованную оценку для i-й темы рассчитываем по следующей формуле: , (2) где i - обозначение темы по строке в матрице парных сравнений. Пользуясь способом приближенного вычисления собственных элементов матрицы парных сравнений, вычисляем собственный столбец (вектор приоритетов) для рассматриваемых тем дистанционного курса. Далее необходимо осуществить операцию нормализации вектора приоритетов, что отражено в табл. 4. Таблица 4 Нормализованные оценки сложности тем дистанционного курса Тема дистанционного курса Вектор приоритета Нормализованные оценки сложности тем дистанционного курса A1 0,273 0,014 A2 0,941 0,049 A3 2,740 0,143 A4 1,514 0,079 A5 0,863 0,045 A6 1,045 0,054 A7 0,342 0,018 A8 0,333 0,017 A9 0,565 0,032 A10 0,928 0,048 A11 1,810 0,094 A12 2,850 0,149 A13 4,958 0,258 Нормализованные оценки вектора приоритетов и являются весами сложности тем учебного курса. Рассмотренный подход соответствует процедуре установления относительной важности объектов по методу Т. Саати. Проверка экспертных оценок на непротиворечивость Для данного метода возможна проверка экспертных оценок на непротиворечивость. IDEF0-модель процедуры проверки экспертных оценок на непротиворечивость приведена на рис. 3. Проверка позволяет выявить ошибки, которые мог допустить эксперт при заполнении матрицы парных сравнений. Ошибки (противоречия) могут быть следующими: например, эксперт указывает, что тема A1 легче A2, тема A2 легче A3 и в то же время тема A1 сложнее A3. Рассмотрим проверку на непротиворечивость для задачи определения весов сложности тем дистанционного курса «Машинно-зависимые языки»: 1. Находим суммы столбцов матрицы парных сравнений (табл. 5): . (3) Таблица 5 Сумма столбцов матрицы парных сравнений Тема дистанционного курса Mj A1 57,00 A2 20,81 A3 7,55 A4 15,93 A5 27,67 A6 18,33 A7 46,33 A8 52,33 A9 35,00 A10 25,93 A11 18,87 A12 7,48 A13 3,26 2. Рассчитываем вспомогательную величину L путем суммирования произведений сумм столбцов матрицы на веса сложности тем дистанционного курса: . (4) Для данного примера L=14,02. 3. Находим величину, называемую индексом согласованности (ИС): . (5) Для данного примера ИС=0,09. 4. В зависимости от размерности матрицы парных сравнений находится величина случайной согласованности (СлС). Значения СлС для матриц размерности от 3 до 10 приведены в табл. 6. Таблица 6 Величины случайной согласованности Размерность матрицы 3 4 5 6 7 8 9 10 СлС 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49 В работе [4] приводится расширенное статистически значимое множество значений индекса случайной согласованности, которое используется в методе анализа иерархий Т. Саати для определения весовых коэффициентов тем дистанционного курса. В данном примере (для n=13) СлС=1,56. 5. Находим отношение согласованности: . (6) Если отношение согласованности превышает 0,2, то требуется уточнение матрицы парных сравнений. В данном примере ОС=0,09/1,56=0,05, следовательно, уточнение экспертных оценок в данном случае не требуется. Таким образом, получены веса сложности тем учебного курса «Машинно-зависимые языки» (см. табл. 4), которые могут быть использованы в формуле выставления итоговой оценки по всему курсу: , где ИО - итоговая оценка по учебному курсу; Оi - итоговая оценка по результатам тестирования по i-й теме учебного курса; - вес сложности i-й темы учебного курса. Весовые коэффициенты для дистанционных курсов по дисциплинам «Машинно-зависимые языки», рассчитанные по алгоритму Т. Саати, приведены на рис. 4. Сравнительный анализ онтологического представления тем дистанционного курса и их весовых коэффициентов сложности Целью эксперимента является проверка соответствия между сложностью онтологического представления тем дистанционного курса и их весовыми коэффициентами, рассчитанными по алгоритму Т. Саати. Онтологическую модель дистанционного курса представим в виде семантической сети, соответствующей формальному описанию семантики набора учебных модулей. Семантическое описание учебного модуля (темы дистанционного курса) представим в виде следующей структуры: M=< I, U, Q, T, R1, R2, R3 >, где I - элемент учебного модуля (квант учебной информации); U - множество связей между элементами учебного модуля; Q - множество типов элементов учебного модуля: {понятие, закон, пояснение, дополнительные сведения}; T - множество типов связей между информационными элементами: (is-a, part-of, base-on); R1 - отношение инцидентности на множестве I ´ U; R2 - отношение инцидентности на множестве I ´ Q; R3 - отношение инцидентности на множестве U ´ T. На рис. 5-7 представлены примеры онтологических моделей, построенные по темам A2, A5, A7 дистанционного курса «Машинно-зависимые языки». В данных моделях вершина является понятием темы дистанционного курса, а дуга - связью между понятиями. Для оценки сложности понимания онтологических моделей в работах [3, 9] рекомендуется использовать количественные метрики семантических сетей. В табл. 7 приведены расчетные значения метрик [7] для онтологических моделей всех тем дистанционного курса «Машинно-зависимые языки». 1. Метрики Ингве-Миллера [3]: отношение количества вершин с нормальной степенью ко всем вершинам (M1); средняя степень вершины графа (M2); медиана степени вершины графа (M3); среднеквадратическое отклонение степени вершины (M4). 2. Метрики разнообразия количества связей онтологии: количество различных типов связи (M5); нормированное количество различных типов связи (M6). 3. Метрики глубины онтологии: абсолютная глубина (M7); средняя глубина (M8); максимальная глубина (M9); медиана глубины (M10); среднеквадратическое отклонение глубины (M11); среднее квадратичное отклонение глубины по отношение к средней глубине (M12). 4. Метрики ширины онтологии: абсолютная ширина (M13); средняя ширина (M14); максимальная ширина (M15). 5. Метрики запутанности онтологии: количество вершин с множественным наследованием по отношению ко множеству всех вершин графа (M16); среднее количество родительских вершин у вершины графа (M17). Анализ рис. 5-7 и данных табл. 4 и 7 позволяет сделать следующий вывод: Если сложности онтологической модели темы Аi больше сложности онтологической модели темы Aj , то и весовой коэффициент сложности по алгоритму Т. Саати для темы Ai больше, чем для темы Aj. Сравнительный анализ удобочитаемости тем дистанционного курса и их весовых коэффициентов сложности Целью эксперимента является проверка соответствия между удобочитаемостью тем дистанционного курса и их весовыми коэффициентами, рассчитанными по алгоритму Т. Саати. Удобочитаемость - свойство текстового материала, характеризующее лёгкость восприятия его человеком. Удобочитаемость текста темы дистанционного курса - одно из свойств, которое способствует более успешному освоению обучаемым учебного материала. Поэтому полученные оценки коэффициентов сложности для тем дистанционного курса должны коррелировать со значениями удобочитаемости их текстов. В табл. 8 приведены значения удобочитаемости текстов тем для дистанционного курса «Машинно-зависимые языка», рассчитанные по формуле Флеша [5]. Таблица 8 Значения удобочитаемости текстов тем для дистанционного курса «Машинно-зависимые языки» Тема дистанционного курса Flash reading ease A1 82,751 A 2 75,613 A 3 35,861 A 4 55,081 A 5 79,162 A 6 41,513 A 7 80,157 A 8 73,157 A 9 41,198 A 10 53,288 A 11 48,573 A 12 37,833 A 13 15,743 На рис. 8 представлен график корреляции удобочитаемости текста и сложности усвоения темы дистанционного курса. Коэффициент корреляции между удобочитаемостью текста темы дистанционного курса и сложностью её усвоения равен -0,811, что подтверждает состоятельность полученных коэффициентов сложности для тем дистанционного курса. Заключение Рассмотренный подход определения весовых коэффициентов сложности тем учебного курса на основе алгоритма Т. Саати может быть положен в основу дистанционных систем обучения и контроля для повышения точности измерения усвоенных пользователями знаний. Полученные весовые коэффициенты тем учебного курса могут быть использованы в качестве целевых показателей для задач кластеризации и классификации тем учебного курса по таким входным показателям, как количественные критерии качества квантования учебного курса и количественные метрики сложности учебного курса. При этом для обеспечения однозначности оценок и удобства практического использования процедура оценивания должна быть реализована на технологическом уровне с применением средств информационно-коммуникационных технологий (ИКТ). Матрица парных сравнений тем дистанционного курса «Машинно-зависимые языки» по сложности усвоения A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 A13 A1 1 1/7 1/7 1/5 1/5 1/3 1/3 1 1/3 1/5 1/3 1/7 1/9 A2 7 1 1/3 1 1/3 1 3 3 1 1 1 1/3 1/5 A3 7 3 1 3 5 3 5 7 5 3 3 1 1/3 A4 5 1 1/3 1 3 1 5 5 3 3 3 1/3 1/5 A5 3 3 1/5 1/3 1 1 3 3 3 1 1/3 1/5 1/7 A6 3 1 1/3 1 1 1 3 3 3 1 1 1/3 1/5 A7 3 1/3 1/5 1/5 1/3 1/3 1 1/3 1/3 1/5 1/3 1/5 1/7 A8 1 1/3 1/7 1/5 1/3 1/3 3 1 1/3 1/5 1/5 1/7 1/9 A9 3 1 1/5 1/3 1/3 1/3 3 3 1 1/3 1/3 1/5 1/7 A10 5 1 1/3 1/3 1 1 5 5 3 1 1/3 1/5 1/7 A11 3 1 1/3 1/3 3 1 3 5 3 3 1 1/3 1/5 A12 7 3 1 3 5 3 5 7 5 5 3 1 1/3 A13 9 5 3 5 7 5 7 9 7 7 5 3 1 Таблица 7 Значения метрик качества онтологических моделей для тем дистанционного курса «Машинно-зависимые языки» Метрики онтологической модели A1 A 2 A 3 A 4 A 5 A 6 A 7 A 8 A 9 A 10 A 11 A 12 A 13 Метрики Ингве-Миллера M1 2,00 1,00 1,00 1,50 0,70 1,50 1,20 2,00 2,00 1,25 1,33 0,78 0,50 M 2 1,00 2,00 2,00 1,33 2,86 1,33 1,67 1,00 1,00 1,60 1,50 2,57 4,00 M 3 1,00 2,00 1,00 1,00 2,00 1,00 1,00 1,00 1,00 2,00 1,50 2,00 3,50 M 4 0,00 2,00 3,27 0,67 2,14 0,33 1,47 0,00 0,00 0,30 0,33 1,95 3,56 Метрики разнообразия количества связей онтологии M 5 1,00 3,00 3,00 1,00 2,00 1,00 1,00 1,00 1,00 1,00 1,00 2,00 3,00 M 6 0,50 0,27 0,25 0,17 0,29 0,33 0,17 0,50 0,50 0,20 0,25 0,29 0,30 Метрики глубины онтологии M 7 2,00 24,00 37,00 8,00 24,00 3,00 11,00 2,00 2,00 5,00 4,00 16,00 136,0 M 8 2,00 3,43 4,63 2,00 3,00 3,00 2,75 2,00 2,00 5,00 4,00 4,00 4,86 M 9 2,00 5,00 6,00 2,00 3,00 3,00 3,00 2,00 2,00 5,00 4,00 4,00 6,00 M 10 2,00 3,00 5,00 2,00 3,00 3,00 3,00 2,00 2,00 5,00 4,00 4,00 5,00 M 11 0,00 0,62 1,13 0,00 0,00 0,00 0,25 0,00 0,00 0,00 0,00 0,00 0,42 M 12 0,00 0,18 0,24 0,00 0,00 0,00 0,09 0,00 0,00 0,00 0,00 0,00 0,09 Метрики ширины онтологии M 13 2,00 12,00 13,00 6,00 7,00 3,00 6,00 2,00 2,00 5,00 4,00 7,00 21,00 M 14 1,00 2,00 2,00 3,00 2,00 1,00 2,00 1,00 1,00 1,00 1,00 1,00 3,00 M 15 1,00 6,00 6,00 4,00 4,00 1,00 3,00 1,00 1,00 1,00 1,00 4,00 7,00 Метрики запутанности онтологии M 16 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 M 17 0,50 1,00 1,00 0,67 1,43 0,67 0,83 0,50 0,50 0,80 0,75 1,29 2,00

Скачать электронную версию публикации