THE Cognitive Maps of Knowledge Diagnosis.pdf 1. Введение Организация процесса дистанционного или самостоятельного обучения с помощью средств вычислительной техники до сих пор является сложной задачей [1, 2], не имеющей универсальных решений. При обработке информации о человеко-машинном взаимодействии данная проблема стоит особенно остро, так как имеет место ограниченный набор факторов, регистрируемых компьютером о пользователе (обучающемся). Это обстоятельство приводит к существенному повышению роли методов извлечения знаний [3] из протоколов работы автоматизированных систем, реализующих индивидуальную траекторию обучения. Рассмотрим один из подходов к анализу наборов статистических данных и извлечению из них знаний о пользователе на примере работы автоматизированных обучающих систем (АОС) нового поколения [4]. Проблема построения гипотез о процессе обучения при взаимодействии типа «человек–компьютер» имеет ряд сложностей, связанных с низкой формализацией сути учебного материала (последовательность текстов, графиков и таблиц), с низкой эффективностью процесса автоматизированного контроля (применение итогового тестирования) и с ограниченными источниками данных об уровне обученности пользователя[1] [5 – 7]. Проблема требует системного взгляда, учитывающего наиболее важные факторы поведения обучаемого [8]. В таком случае источниками знаний о динамике процесса обучения являются частотно-временные показатели работы человека с различными подсистемами АОС, а также данные о результатах работы с контролирующим материалом (решение задач в электронной тетради, прохождение тестов). Результирующая информация по каждому пользователю представляется в виде временного ряда , каждый элемент которого описывается кортежем типа: , (1) где – порядковый номер элемента в привязке к временной шкале; – подмножество целей / компетенций, которые пользователь выбрал для развития при работе с АОС; – статистика работы с учебным материалом (включая историю траектории перемещений между элементами дидактического материала); – статистика прохождения контрольно-измерительного материала; – индивидуализированный состав учебного курса (включая контролирующий материал); – набор целей / компетенций, которые должны быть развиты в процессе обучения; – фактический состав учебного курса; – метаинформация об электронном учебном курсе. Анализируя структуру на уровне матричного представления (таблицы базы данных), можно сделать ряд простейших выводов, касающихся динамики знаний в контрольных точках электронного курса. Но для эффективной работы АОС, формирующей адекватную индивидуальную траекторию обучения, этих данных недостаточно [9]. Требуется извлечь знания, определяющие дальнейшую стратегию поведения обучающей системы. Для этого требуется расширить описание модели учебного курса, дополнив её слоем метаинформации. 2. Модель курса и метазнания в АОС Традиционная модель учебного курса включает в себя иерархию учебного и контролирующего материала (структуру курса ) и метаданные о последовательности предъявления дидактических единиц (). Если говорить об обучающих автоматизированных системах нового поколения, то в них оба эти компонента должны быть модифицированы. В фактический состав рабочего курса (его реализацию ) должны входить не все элементы , а лишь та часть, которая позволяет сформировать адекватное подмножество учебного материала по (2), полностью включающего указанные пользователем цели обучения[2] и дополнения, без которых последовательное изучение материала будет невозможно (ядро курса ): , (2) где – подмножество , включающее те элементы, которые через связи с целями / компетенциями связаны с . Тогда требует наличия не только описания стандартной траектории перемещения между элементами , но и семантическую сети [10], регламентирующей формирование траектории между элементами из и правила синтеза индивидуальной траектории обучения. Следовательно, часть знаний о семантике учебного материала необходимо формально размещать в составе модели учебного курса. Наиболее компактной и наглядной формой представления структуры семантической сети удаётся достичь, если применять круговую схему представления структуры учебного материала (рис. 1). Здесь узлами сети являются дидактические единицы (включая характеристики важности, сложности, типа представления, развиваемые компетенции и пр.), а рёбрами – связи логических зависимостей типа «базовый – дочерний»[3]. Из рисунка видно, что элементы и определяют статическую часть метаинформации об учебном курсе в АОС, т.е. отвечают на вопросы: «что должно быть изучено?» и «в какой последовательности нужно изначально знакомиться с дидактическими единицами?». Из семантической сети можно выделить то, какие контрольно-измерительные материалы (задачи, упражнения, тестовые задания) будут включены в , т.е. получить эталонные показатели обучения. Предложенная модель курса, которая позволяет получить ответы на вопросы, «каким должен быть индивидуализированный состав курса?» и «к чему должны стремиться показатели уровня обученности?», не даёт метазнаний, позволяющих индивидуализировать сам процесс обучения[4]. Необходимо учитывать динамику обучения, осуществляя ситуационное управление [11]. В автоматизированных обучающих системах за это традиционно отвечает механизм экспертных систем, которому на вход подаются оперативные данные о работе пользователя. Для осуществления управления работой АОС необходимо анализировать динамику учебного процесса, выявляя значимые показатели, а не ограничиваться констатацией уровня освоения отдельных дидактических единиц в баллах теста, как это делается в подавляющем большинстве автоматизированных обучающих систем. Выделим показатели, которые значимы для управления процессом обучения: Рис. 1. Пример представления структуры учебного курса в виде семантической сети · корреляция между фактически повторяемым материалом, рекомендуемым к изучению автоматизированной системой, и оценками во времени (ответ на вопрос «воспринимает ли пользователь рекомендации АОС?»); · эффективность процесса самообучения (скорость, динамика успехов) при использовании АОС (ответ на вопрос «успешно ли продвигается обучение?»); · эффективность трудозатрат (время, частота обращения) при работе с подсистемой электронного учебного курса и обучающего компьютерного тестирования (ответ на вопрос «достаточно ли пользователь работает с АОС?»); · актуальность направления работы (выявление перечня разделов/материалов курса, которые необходимо повторить, временно отложить или считать освоенными) с учётом динамики успехов и целей обучения (ответ на вопрос «что пользователю наиболее актуально изучать в первую очередь при текущем уровне знаний?»). Для реализации механизмов индивидуализации, оперирующих значимой информацией о процессе обучения, требуется обрабатывать статистику из и из (1). Для этого необходимо последовательно решить следующие задачи: · извлечь из базы данных всю информацию, относящуюся к отдельным характеристикам процесса обучения; · оценить динамику каждого показателя (осуществить предобработку); · сгруппировать оценки показателей; · направить совокупность показателей в подсистему принятия решений (в АОС это обычно экспертная система). Таким образом, набор метазнаний о динамической части требует комплексных мер по подготовке, прежде чем он будет подан на вход экспертной системы. Фактически требуется переработать весь массив хранящейся информации о динамике обучения конкретного пользователя и осуществить перевод информации в знания, т.е. перейти от количества к качеству. Очевидно, что за один шаг этого не добиться. Поэтому выделим задачи сбора, предобработки и группировки значимой информации о процессе обучения в отдельную процедуру, которая носит название когнитивной карты диагностики знаний. 3. Когнитивные карты диагностики знаний Когнитивная карта диагностики знаний (ККДЗ), как следует из определения в [12], является сервисом АОС, автоматически подготавливающем (предобрабатывающем) информацию о процессе обучения (выявление пробелов в знаниях, оценка и отображение динамики обучения) с целью упростить комплексный экспертный анализ учебной ситуации и выработать адекватную реакцию системы на действия пользователя. Таким образом, ККДЗ формируется каждый раз, когда требуется реализовать обратную связь между АОС и учащимся: согласно [4, 13] это этапы оценивания знаний, адаптации состава обучающего теста, формирования траектории обучения, синтеза подсказок или объяснения оценок в естественно-языковой форме. Фактически, сервис формирования ККДЗ должен активизироваться перед вызовом отдельных экспертных систем, соответствующих перечисленным этапам, обрабатывая данные из , хранящиеся в базе данных АОС. Как было показано выше, метаинформация о процессе обучения включает статическую и динамическую части, поэтому и ККДЗ должна формироваться в памяти ЭВМ в виде комплекса показателей, которые будут отражать особенности учебного процесса. Учитывая ограниченность источников информации и различную степень достоверности отдельных показателей (например, при оценивании компьютерного теста оценивается вероятность угадываний верных ответов), в карте нужно по возможности обобщённо и компактно отразить картину обучения. При этом ККДЗ должна демонстрировать не только комплексные характеристики процесса обучения, но и позволять быстро выделять существенные тенденции, которые далее пойдут на вход продукционной экспертной системе. Это достигается за счёт сочетания методов когнитивной компьютерной графики, Data Mining, статистического анализа временных рядов и ментальных карт. Пример вывода на форму фрагмента простой когнитивной карты диагностики знаний показан на рис. 2. Рис. 2. Пример фрагмента ККДЗ для дисциплины «Имитационное моделирование» При синтезе ККДЗ, представленной на рис. 2, был использован целый комплекс алгоритмов, отражающих различные классы характеристик учебной ситуации. Во-первых, это набор обычных запросов, возвращающих статичные параметры об электронном курсе (область «Параметры курса») и статистические показатели процесса обучения (область «Интенсивность обучения» и «Выбранный этап»). Во-вторых, это семантическая сеть электронного курса, отражаемая в левом нижнем углу формы. Определение силы влияния семантических связей на результат обучения выражается в виде комбинации тройки показателей: · фактическая оценка дидактической единицы ; · влияние базовых зависимостей внутри структуры учебного материала ; · влияние дочерних зависимостей внутри структуры учебного материала . Значение влияния взаимозависимостей определяется по формулам (3). и , (3) где , , , – оценки связных дидактических единиц из группы дочерних внешних, дочерних внутренних, родительских внутренних и родительских внешних соответственно; множества , , , содержат счётчики ,, , указанных групп соответственно[5]. В-третьих, это карта динамики проявления соответствующей размерности (фактора) ККДЗ. На рисунке ККДЗ представлена картой фактора «динамика обучения (баллы, тест)», где цвета обозначают процент освоения учебного материала в градации выбранной шкалы (по данным анализа результатов решения теста), столбцы – порядковые номера дидактических единиц, а строки – отдельные обращения к подсистеме тестирования. Эту область можно уподобить карте высот с той лишь разницей, что она строится относительно времени и позволяет наглядно увидеть динамику изменения учебных достижений. В-четвёртых, в карту включается набор расчетных параметров, требующих целой последовательности действий. Примером такого параметра будет «Учёт рекомендаций АОС» (): для этапа контроля сравнивается множество рекомендуемых к повторению элементов из после шага с фактическим изучаемыми по формуле (4). , (4) где =||()\()|| - мощность симметрической разности, – подмножество , рекомендованное к повторной проработке, а – фактически проработанное подмножество. Очевидно, что при смене размерностей отображения данных (списки «Фактор ККДЗ» и «Детализация в разрезе») будет изменена левая часть оконной формы, используя соответствующие алгоритмы расчёта показателей. 4. Управление траекторией обучения по ККДЗ Траектория обучения пользователя как объект управления[6] является многопараметрической структурой. Это свидетельствует не только о необходимости комплексного обобщения множества промежуточных оценок работы обучаемого из ККДЗ, но и принятия решений на уровне модели знаний. В самой инженерии знаний существует целый ряд моделей, позволяющих представить в памяти компьютера структуру знаний. В данном подходе рассматриваются семантические сети и онтологии как гибкий инструмент описания логической взаимосвязи отдельных актов (концептов) и возможных путей принятия решений (аксиомы и продукционные правила) [3, 15, 16]. Следовательно, данные из ККДЗ должны быть далее обобщены и проанализированы с помощью экспертной системы, входящей в состав развитых АОС [17]. Здесь следует отметить ряд важных моментов: Во-первых, большинство из показателей, представленных в ККДЗ, носят количественную природу и для логического анализа не приспособлены. Для преодоления этой трудности используется механизм нечёткой логики, осуществляющий фазификацию, т.е. перевод числовых данных в качественные значения лингвистической переменной [18]. Во-вторых, требуется осуществлять расчёт оценки владения не только отдельной дидактической единицы, но и оценки каждой компетенции из . Очевидно, что множества и будут составлять двудольный граф, определённый в . Следовательно, тестовые задания, которыми обладает каждый элемент из , будут оценивать компетенции, относящиеся к конкретной дидактической единице. Возникает задача разработки метода оценки степени овладения компетенциями по результатам комплексной проверки (например, прохождения обучающего теста). В качестве решения, позволяющего удовлетворительно сработать с множественными зависимостями объектов «, можно воспользоваться коэффициентами уверенности Шортлиффа и Бучанана [19, 20]. Основная идея этого метода преодоления многозначности гипотез заключается в том, чтобы данные о состоянии показателя собирались итерационно (с каждым тестовым заданием) и сопровождались априорной оценкой, подтверждающей одни состояния () гипотезы и опровергающей другие (). Связь между мерой доверия и недоверия устанавливается с помощью коэффициента уверенности по формуле (5): , (5) где , а и есть свидетельства в пользу и не в пользу гипотезы (усвоения компетенции) в результате прохождения обучающего теста. Для комбинации свидетельств в сложных гипотезах (ответ на задание демонстрирует различный исход для разных компетенций) используются следующие приближенные методы оценки по (6): и , (6) где – количественная мера одного из факторов (тестовых заданий) для каждой компетенции из . Так, в результате решения теста будет получен ряд коэффициентов уверенности, соответствующих степени проявления каждой компетенции из в результатах очередного этапа контроля. Таким образом, в экспертную систему, вырабатывающую стратегию управления траекторией обучения, должны быть поданы агрегированные показатели, отражающие текущее состояние вспомогательных гипотез экспертной системы по таким вопросам, как: · Имеет ли результат процесс самостоятельного обучения? · Принимает ли во внимание учащийся рекомендации АОС? · Насколько рационально действует пользователь при повторном обращении к учебному материалу? · Какой фрагмент учебного материала наиболее актуален для получения наилучшей динамики показателей обученности? · Насколько случайными являются показатели, зарегистрированные подсистемой контроля? · Какую последовательность учебного материала требуется повторно проработать для повышения показателей для конкретной дидактической единицы / компетенции? Реализация всех этих возможностей базируется на ККДЗ – инструменте извлечения, обобщения и компактного представления информации, важной при принятии решений в АОС. За счёт карты знаний существенно упрощается подача информации в экспертную систему, оперирующую не только ситуационной информацией о процессе обучения, но и знаниями экспертов. Так АОС становится прообразом индивидуального ситуационного центра [4, 22], оперативно реагирующего на изменения в массивах статистических данных о работе пользователя. 5. Заключение Предложенный в статье формальный подход к выявлению и организации значимой информации о процессе обучения из статистических данных с помощью когнитивных карт диагностики знаний проходит апробацию в сочетании с методом обучающего тестирования в рамках единой автоматизированной обучающей системы. Интеграция сервиса когнитивных карт диагностики знаний в состав обучающей системы позволяет не только повысить адекватность индивидуализированного управления траекторией обучения, но и выработать правила синтеза аргументированных ответов системы при ведении диалога в естественно-языковой форме. Это способствует переходу автоматизированных обучающих систем к новому, более совершенному этапу развития, оперирующему не только структурированными наборами учебной информации, но и знаниями о процессе освоения дидактических единиц для решения задачи индивидуализированного управления траекторией обучения. [1] Фактически АОС «видит» не человека, а последовательность перемещений мыши по экрану и сочетания нажатий клавиш с клавиатуры. Применение Web-камер, регистрирующих перчаток и иной экзотики, – приятные допущения, не отражающие реалий типовой ситуации дистанционного и самостоятельного обучения. [2] Состав подмножества определяется как минимальный объём элементов из , отвечающий условию соответствия элементов подмножества пожеланиям пользователя при регистрации на курс в АОС: цели обучения указываются в виде набора нужных разделов курса, уточнения профиля обучения и/или множества развиваемых компетенций. [3] Стрелка, идущая вдоль границы окружности, определяет нормативную последовательность изучения материала, а те связи, которые находятся внутри контура, описывают семантические зависимости элементов учебного курса. [4] Здесь следует развести понятия «метаинформация» и «метазнания». Метаинформация – это такая информация, которая описывает служебные параметры структуры и семантических связей в типовом (не индивидуализированном) электронном курсе, а также однозначно продекларированные параметры модели пользователя (изначально указанные обучаемым цели и предпочтения). Метазнаниями является такая информация, которая выводится из имеющихся данных (включая метаинформацию) и ситуационно помогает выработать эффективную обратную (т.е. управляющую стратегией подачи материала в АОС) связь, используя методы искусственного интеллекта. [5] В формулах (3) первое слагаемое отражает силу связей с соседними дидактическими единицами внутри анализируемого раздела, а второе слагаемое – с учебным материалом из других разделов (детально данный алгоритм описан в [14]). [6] В литературе по данной тематике принято считать, что управление траекторией фактически эквивалентно управлению самим процессом обучения [21]. Принимая во внимание сложность решаемой задачи, это не всегда так. Поэтому первичные данные о траектории перемещений между элементами АОС – лишь исходные данные для предобработки (в данной работе с помощью ККДЗ) и дальнейшего принятия решений.

Скачать электронную версию публикации