METHODOLOGY OF ANALYSIS OF ELECTRONIC EDUCATIONAL CONTENT.pdf Электронное обучение прочно закрепилось и получило широкое применение в образовательной среде. Официально дистанционное образование существует в России с 1992 г., когда была принята Концепция создания и развития единой системы дистанционного образования для повышения доступности и качества учебных программ по всей территории страны [1]. Основой дистанционных технологий является методическое обеспечение в виде электронного учебного контента. Электронный учебный контент - это содержимое, которое загружается в систему дистанционного обучения, предназначенное для непосредственного восприятия пользователем с целью обучения или ориентации в учебном процессе [2]. Форма представления учебного контента оказывает существенное влияние на качество процесса образования. Хорошие результаты дистанционного обучения могут быть получены, когда учебный ресурс тщательно разработан, высокоинформативен, понятен, удобочитаем. В настоящее время на факультете дистанционного образования (ФДО) Томского государственного университета систем управления и радиоэлектроники (ТУСУР) разработано 310 электронных курсов по техническим и гуманитарным дисциплинам, содержимое которых необходимо проанализировать. Существующие СДО Moodle, edX, A-tutor и др. не предоставляют разработчикам дистанционных учебных курсов возможность анализировать и оценивать качество учебного контента [3]. На сегодняшний день в сфере анализа учебных текстов проведено немало исследований и предложено еще больше различных критериев оценивания проведенного анализа. В первую очередь стоит отделить количественные критерии от качественных, так как ко вторым практически невозможно применить конкретные математические модели для расчета, и во многих случаях для их оценки возникает необходимость в экспертной группе и множественной проверке на потенциальных читателях. Количественные же критерии поддаются автоматизации и в большинстве своем имеют конкретные шкалы оценивания. Но не стоит брать любой из таких критериев для анализа контента. Из-за достаточно широкого выбора многие из них могут быть плохо оптимизированы, иметь неточные метрики или вовсе не подходить для русскоязычных текстов. Для анализа учебного контента были выбраны следующие критерии: • информационная насыщенность; • абстрактность; • удобочитаемость; • водность; • плотность ключевых слов. Что немаловажно, все из этих критериев достаточно хорошо исследованы, чтобы иметь большую точность оценки. Ниже каждый из критериев рассмотрен более подробно. Информационная насыщенность. Оценивается количеством введенных в текст новых понятий, существующих в явном и скрытом виде. Информационная насыщенность (1) рассчитывается как процентное соотношение количества встречающихся в тексте новых понятий к общему числу слов: (1) где Xкс- количество новых понятий; Xокс- общее количество слов в тексте. Количественная оценка информационной насыщенности текста может быть совершенно разная для каждого конкретного электронного курса. Но есть два основных показателя, на которые стоит опираться при ее анализе. Во-первых, информационная насыщенность должна стремиться к 100 %, т.е. текст должен быть максимально наполнен новой и полезной информацией. Но на практике такое встречается очень редко, поэтому вторым показателем является минимальный порог этой оценки, он составляет 30 %. Если оценка упала ниже минимального порога, значит, электронный курс почти не несет в себе новой информации для студента. Абстрактность. Оценивается доля слов в тексте, обозначающих абстрактные смысловые объекты, т.е. такие, которые не доступны непосредственному чувственному восприятию. Предполагается, что чем больше доля абстрактных слов в учебном тексте, тем сложнее он будет усваиваться студентами. Для оценки абстрактности изложения предлагается использовать методику Я.А. Микка. Согласно этой методике абстрактность имен существительных определяется подсчетом слов с абстрактными суффиксами. Такими суффиксами в русском языке являются: -ость, -есть, -мость, -нность, -ие, -ание, -ение, -ние, -ество, -изм и др. [4]. Основываясь на работах Я.А. Микка 1970 г., введем индекс абстрактности текста (2): (2) где Xас- количество абстрактных имен существительных; Xокс- общее количество слов в тексте. В качестве шкалы оценивания индекса абстрактности используется метрика, разработанная Людвигом Райнером. Немецкий ученый выявил соотношение между использованием в тексте различных типов слов и понятностью этого текста [5]. Таблица 1 Шкала оценки абстрактности текста Уровень понятности Количество абстрактных существительных (на 100 слов текста) Очень легко понять До 4 Легко понять 5-8 Понятно 9-15 Трудно понять 16-20 Очень трудно понять 21 и более Как следует из табл. 1, абстрактные слова использовать можно, но в очень небольших количествах (5-15 %) от общего количества слов в тексте. Если же доля абстрактных существительных превышает 20 %, это сигнал к их немедленному сокращению. Иначе текст однозначно окажется непонятным [5]. Удобочитаемость. Индекс удобочитаемости - мера определения сложности восприятия текста читателем. Индекс удобочитаемости может вычисляться на основе нескольких параметров: длины предложений, слов, удельного количества наиболее частотных (или редких) слов и т.д. Для реализации поставленной задачи удобочитаемость рассчитывается с помощью индекса Ганнинга (индекс Фога, «туманность» Ганнинга). Индекс Ганнинга позволяет определить минимальный возраст читателя, которому будет понятен анализируемый текст. Индекс туманности измеряет сложность чтения исходя из средней длины предложения и процента слов, состоящих более чем из четырех слогов. Чем выше индекс туманности, тем сложнее читать текст. Индекс Ганнинга для русскоязычных текстов рассчитывается по формуле (3): (3) где «кол-во сложных слов» - количество слов с числом слогов больше четырех (такое число слогов определено с учетом грамматики русского языка); 0,78 - поправочный коэффициент для русского языка [6]. В табл. 2 приведена шкала оценки индекса Фога [6]. Таблица 2 Проверка удобочитаемости по Фогу Показатель Уровень образования 17-20 Выпускник 13-16 Студент колледжа или вуза 11-12 Учащийся старших классов школы 9-10 Учащийся средних классов школы 6-8 Учащийся начальной школы Чем меньше значение индекса, тем большей аудитории он будет понятен. Водность. Водность текста - это процент содержания в нем ничего не значащих, не несущих полезной информации слов (стоп-слов). Исходя из предложенного определения, индекс водности текста будет рассчитываться по следующей формуле (4): (4) где Xcc- количество стоп-слов в тексте; Xокc- общее количество слов в тексте. Примерами стоп-слов могут являться местоимения, союзы, сокращения и др. С полным списком стоп-слов можно ознакомиться в [7]. При расчете водности текста используют следующие метрики [8]: • до 15 % - отсутствие «воды» в тексте; • 15-30 % - естественное содержание «воды» в тексте; • 31-60 % - превышенное содержание «воды» в тексте; • более 60 % - очень высокое содержание «воды» в тексте. Максимально допустимым показателем водности считается 60 %. Оптимальный показатель - от 15 до 30 %. Плотность ключевых слов. Для расчета плотности ключевых слов была использована формула классической плотности. Классическая плотность - это квадратный корень из числа, обозначающего частоту употребления слова в тексте (5). Плотность не может быть меньше 2,64. Даже если слово использовано в тексте менее 7 раз, корень квадратный в этом случае извлекается из числа 7. Именно классическая плотность взята за основу расчетов плотности ключевых слов. В качестве общей плотности текста принимается значение плотности самого часто используемого слова. (5) где КС - количество повторений i-го ключевого слова. Оптимальным значением считается 5-7 % [8]. Дополнительные параметры. В качестве дополнительных параметров принимаются общие стандарты ФДО, применяемые к разработке электронных учебных курсов. Данные параметры оцениваются по следующей шкале: • 1 - показатель соответствует заявленным требованиям; • 0 - не соответствует заявленным требованиям. Общая оценка дополнительных параметров рассчитывается исходя из суммы полученных показателей и оценивается от 0 до 1 соответственно шкале: • 1 - сумма показателей больше 3; • 0,5 - сумма показателей равна 3; • 0 - сумма показателей меньше 3. Ниже подробно расписаны все параметры, учитывающиеся при расчете данной оценки. 1. Соответствие глоссарию. Все термины, добавленные автором в глоссарий, должны быть хотя бы раз употреблены в тексте электронного курса. Если хотя бы один термин не соответствует данному утверждению, параметру присваивается значение 0. 2. Наличие визуального представления информации. В этом параметре учитывается присутствие в электронном курсе таких элементов, как иллюстрации и таблицы. Если курс не содержит ни одного из предложенных элементов, параметру присваивается значение 0. 3. Содержание в тексте ссылок на включенные в курс иллюстрации и таблицы. Ссылка должна быть использована в тексте хотя бы один раз и может присутствовать как в кратком виде (например, «рис. 1»), так и полном виде (например, «рисунок 1»). Если в курсе не присутствует ссылка на хотя бы одну иллюстрацию, параметр будет равен 0. Если в курсе не содержится иллюстраций и таблиц, т.е. предыдущий параметр равен 0, то данному параметру автоматически присваивается значение 0. 4. Содержание в тексте ссылок на содержащиеся в курсе пронумерованные формулы. Логика вычисления данного параметра такая же, как и у предыдущего. Единственным отличием является то, что если в курсе не присутствует ни одной формулы, параметру присваивается значение 1, так как наличие формул не является обязательным. 5. Размер специальных блоков для выделения важной информации. Такой блок представляет собой пиктограмму, отделяющую содержащийся в ней текст от основного. Тем самым автор может привлечь внимание студентов к определенным частям курса. Размер таких блоков не должен превышать 1 200 символов, включая пробелы. Математическая модель. Для получения итоговой оценки электронного учебного курса описанные выше параметры необходимо привести к единой шкале, тем самым сделав их сопоставимыми. В качестве общей шкалы была выбрана следующая: • 1 - значение показателя является оптимальным; • 0,5 - значение показателя лежит в пределах допустимой нормы; • 0 - значение выходит за рамки допустимой нормы. В табл. 3 приведено соответствие между описанными выше шкалами показателей и общей шкалаой оценивания. Итоговая оценка курса рассчитывается по формуле (6): (6) где xi - оценка i-го показателя, оцененного относительно общей шкалы. Таким образом, мы получаем итоговую оценку, лежащую в диапазоне от 0 до 6 и соответствующую следующей шкале: • 0-3 - низкая оценка курса. Данный показатель возможен в случаях, когда большинство показателей выходят за рамки допустимой нормы либо часть из них лежат в пределах нормы, но не являются оптимальными; • 3-5 - средняя оценка курса. Учитывает случаи, когда большинство показателей лежат в пределах нормы, а остальные являются оптимальными либо большинство показателей являются оптимальными, а меньшая часть может выходить за пределы нормы; • 5-6 - высокая оценка курса. Возможна в случае, когда практически все показатели оптимальны. Анализ. При анализе текста учебного контента блок с оценками критериев имеет цветовое оформление (рис. 1). Слева располагается общая оценка курса. Справа можно увидеть шесть блоков, размеченных разными цветами. Цвет блока зависит от оценки критерия, приведенной к общей шкале: • 0 - красный; • 0,5 - желтый; • 1 - зеленый. На начальном экране пользователь может увидеть только название критерия и его исходную оценку. У каждого блока с критерием есть 2-4 ссылки. При нажатии на них разворачивается соответствующая информация о данном критерии (рис. 2). Ссылки имеют следующие категории: 1. Описание - краткая информация о критерии, включающая формулу расчета и входящие в нее показатели. 2. Шкала оценивания - информация об исходных метриках критерия. Данная информация дана пользователю для того, чтобы он наглядно представил, в каких диапазонах может лежать рассматриваемый критерий. 3. Рекомендации. Выводятся для критериев с оценками «0» и «0,5», кроме критерия «Дополнительные параметры» (рис. 3). Анализ проводился на электронных курсах, разработанных на ФДО. Ниже рассмотрены результаты анализа 10 курсов (5 - по техническим дисциплинам, 5 - по социально-экономическим). Анализируя итоговые оценки по каждому виду курсов, можно отметить, что социально-экономические дисциплины уступают техническим, показавшим лучшие результаты при тестировании. На рис. 4-5 представлено сравнение оценок критериев для каждого вида дисциплин. Предложенная методика анализа учебного контента позволяет создавать рекомендации для авторов учебно-методических комплексов и исключить некоторые ошибки при их составлении, которые в значительной степени влияют на освоение студентом электронного учебного контента: • перегруженность текста научными терминами; • частое использование отвлеченных понятий; • несоответствие содержания пособия заявленному курсу; • использование большого количества громоздких предложений; • недостаточность визуального представления информации. Соответствие шкал Общая шкала 0 0,5 1 Информационная насыщенность 0-29 % 30-49 % 50-100 % Абстрактность 21-100 % 16-20 % 0-15 % Удобочитаемость 17-20 - 6-16 Водность 61-100 % 0-14 % 31-60 % 15-30 % Плотность ключевых слов 0-4 % 8-100 % 5-7 % Дополнительные параметры 0 0,5 1

Скачать электронную версию публикации