ELABORATION AND APPROBATION OF THE QUALITY EVALUATION MODEL OF E-LEARNING MANAGEMENT IN LMS MOODLE.pdf Развитие электронного обучения сопровождается усиленным вниманием к его качеству, управление которым основывается на контроле знаний обучаемых, процессов обучения, их организации и применяемых средств. При использовании технологий электронного обучения, которые отличаются от технологий традиционного высшего образования, необходимо помнить, что к ним не применимы привычные методы оценки и обеспечения качества. Поэтому важно формирование критериев качества электронного обучения (далее - ЭО), которые бы входили в общую систему оценки качества образования. Посредством электронных учебных курсов (далее - ЭУК) в большинстве случаев доставляется образовательный контент, а организация учебных коммуникаций не отлажена в ЭУК, что не обеспечивает системного качества обучения по учебным дисциплинам. Чтобы улучшить ситуацию по учебной коммуникации в LMS Moodle, необходимо начинать с профессорско-преподавательского состава, активности которого влияют на вовлеченность и удержание студентов в электронных курсах. Так как при электронном обучении акцент смещается с преподавателя на электронную обучающую среду, то необходимо обеспечить эффект «присутствия» преподавателя при обучении [1. С. 105]. Прежде чем оценивать качество сопровождения электронного обучения в системе Moodle, разберемся с понятием «сопровождение». Были замечены следующие активно использующиеся словосочетания, описывающие область образования и науки: тьюторское сопровождение ученической деятельности, педагогическое сопровождение, научное сопровождение. Подобно термину «педагогическое сопровождение» [2. С. 33], под сопровождением электронного обучения будем понимать деятельность педагога, направленную на организацию образовательной деятельности обучающегося в системе управления обучением. Для того чтобы построить модель оценки качества сопровождения, предложена методика, которая состоит из следующих этапов: - проектирование оценки качества сопровождения электронного обучения; - реализация оценки качества сопровождения электронного обучения; - формулирование рекомендаций по улучшению качества электронных учебных курсов. Первый этап входит в состав общего процесса оценки и является его теоретической основой. Этот этап содержит выбор модели по оценке качества ЭО, выбор образовательной программы, по которой оцениваются электронные учебные курсы, формирование требований к качеству сопровождения электронного обучения, определение критериев и категорий оценивания. Для формирования критериев качества сопровождения электронного обучения и их оценивания за основу был взят подход Т.Н. Шалкиной [3. С. 611]. Для оценки качества сопровождения электронного обучения были выбраны следующие критерии: - Учет индивидуальных особенностей студентов (наличие различных форм и вариантов промежуточных и итоговых заданий в зависимости от уровня сложности). - Повышение уровня мотивации к обучению (наличие различных форм интерактивного и мультимедийного учебного материала, систем поощрений студентов за успешную работу). - Поддержка обратной связи со студентами (ответы на вопросы на форумах, комментирование выполненных заданий). - Разнообразие форм самоконтроля и контроля (наличие различных вариантов промежуточного и итогового контроля, в том числе интерактивных). - Диагностика результатов обучения (проведение мониторинга выполнения заданий, активностей студентов). - Ведение журнала учебных достижений студентов (проведение процедуры оценивания, результаты которой доступны студентам). Из перечисленных критериев сформированы категории: категория организационного обеспечения ЭУК и категория контроля обучения с помощью ЭУК. Представленные категории соответствуют важным областям из сертификата Open ECB - CHECK. Эта сертификация позволяет оценить качество и гарантии качества ЭО на программном уровне и на уровне обучающих курсов. Категории соответствуют областям, относящимся к качеству сопровождения электронного обучения: ориентация на целевую группу (в процесс формирования программы обучения и преподавание должны быть вовлечены студенты, в ходе обучения студентам должна оказываться поддержка, даваться обратная связь) и оценка, внутренний аудит (технологии оценки знаний студентов в ходе обучения). Второй этап содержит измерение ЭУК по критериям качества сопровождения и оценивание показателей качества сопровождения. Для оценки критериев и категорий используется четырехуровневая балльная шкала: 3 - полностью соответствует, 2 - частично соответствует, 1 - в основном не соответствует, 0 - полностью не соответствует. Описание оценки каждого критерия в балльной шкале представлено в таблице. Перед тем как приступить к непосредственной оценке каждого критерия, с помощью метода анализа иерархий (далее - МАИ) были определены весовые коэффициенты, которые указывают на важность отдельно взятого критерия и категории по отношению к главной цели. Поскольку качество сопровождения электронного обучения оценивается при помощи качественных критериев, которые трудно поддаются количественной оценке, был выбран именно этот метод, который в теории принятия решений имеет математическую базу [4. С. 31]. Уникальность этого метода в том, что он является одновременно и качественным, и количественным. В нашем случае качественной оценки (при сравнении показателей) парные сравнения производились с использованием суждений об относительной важности компонентов. Было осуществлено парное сравнение показателей друг с другом по их важности относительно главной цели. После этого были вычислены веса с помощью среднего геометрического (экспонента от среднего арифметического от посчитанных значений натуральных логарифмов) и соотношения значения отдельной категории или критерия среднего геометрического и суммы всех значений категорий или критериев среднего геометрического. После произведенных расчетов были вычислены веса критериев: учет индивидуальных особенностей студентов - 0,11; повышение уровня мотивации к обучению - 0,57; поддержка обратной связи со студентами - 0,32; разнообразие форм самоконтроля и контроля - 0,10; диагностика результатов обучения - 0,26; ведение журнала учебных достижений студентов - 0,64. Также определены веса категорий: первой категории - 0,25, второй категории - 0,75. Качество сопровождения электронного обучения в LMS Moodle рассчитывалось следующим образом: 1. Сначала рассчитали категорию организационного обеспечения ЭУК: , - показатель организационного обеспечения; - весовые коэффициенты; хi - показатели организационного обеспечения: 2. Определили категорию контроля обучения с помощью ЭУК: , - показатель контроля обучения; - весовые коэффициенты; хi - показатели контроля обучения: 3. Рассчитали обобщенный показатель качества электронных курсов: Так как используется четырехуровневая балльная шкала, то полученные результаты определяются следующим образом: от 0 до 1,5 - требует первоочередного внимания, от 1,5 до 2,5 - требует улучшений, от 2,5 до 3 - не требует вмешательств. На основе описанной методики была разработана модель оценки качества сопровождения электронного обучения в LMS Moodle (рис. 1). На входе этой модели расположены элементы курса Moodle - составная интерактивная часть электронного курса, выступающая в качестве инструмента для изучения теоретического материала, контроля уровня знаний, взаимодействия. Основными активными элементами являются: - задание - элемент, позволяющий преподавателю ставить задачу, которая требует от студентов подготовки ответа в электронном виде и его загрузки в систему; - семинар - вид занятий, где студенты могут выполнять не только собственную работу, но и проверять работы других студентов; - тест - элемент, позволяющий проверить знания студентов, может включать различные типы заданий; - форум - средство общения участников ЭУК при его изучении; - чат - элемент, позволяющий проводить обсуждения в реальном времени через Интернет; - оpenMeetings/Вебинар - элемент для проведения вебинарной комнаты. Также на входе указаны блоки управления курса, например отчеты и оценки. Эти блоки помогают сделать выводы об активностях студентов и преподавателей. Инструкции для преподавателей подразумевают под собой минимальные требования, которым должен соответствовать электронный учебный курс. Например, в Томском государственном университете разработаны методические рекомендации по разработке электронного учебного курса [5]. На выходе у представленной модели оцененные курсы по организационному обеспечению курсов и по контролю обучения. Апробация модели оценки качества сопровождения электронного обучения в LMS Moodle проходила на 28 электронных учебных курсах основной образовательной программы магистратуры «Цифровые технологии в социогуманитарных практиках» по направлению подготовки 09.04.03 «Прикладная информатика». Каждый из электронных учебных курсов был оценен по критериям в четырехуровневой балльной шкале (см. таблицу). Чтобы увидеть на практике описанную модель оценки качества сопровождения электронного обучения в LMS Moodle, приведем пример оценивания одного электронного учебного курса в системе. Курс относится к вариативной части в учебном плане основной образовательной программы «Цифровые технологии в социогуманитарных практиках». Он содержит 12 тем, 70 ресурсов, 15 элементов. Критерии в электронном курсе оцениваются следующим образом: 1. Учет индивидуальных особенностей студентов - 3 балла. В электронном учебном курсе представлены различные формы и варианты промежуточных и итоговых заданий в зависимости от их уровня сложности, имеются пояснения к оценке итоговых результатов. Курс содержит дополнительные индивидуальные, групповые задания, предназначенные для студентов. Например, придумать идею своего социального робота либо описать в виде развернутой аналитики исследования социального взаимодействия человека и робота на форуме в LMS Moodle. К каждому заданию в курсе преподаватель прописывает разное количество баллов в зависимости от степени выполнения, в зависимости от выбора предложенных заданий. 2. Повышение уровня мотивации к обучению - 3 балла. ЭУК обладает свойством интерактивности и мультимедийности, содержит интересные ссылки и материалы, предусмотрена система поощрений студентов за успешную работу. Курс представлен графически: каждому разделу соответствует картинка робота, отражающая главную содержательную мысль. Помимо этого, прописана информация о том, что необходимо для зачета, чему раздел научит студентов. Это все позволяет вовлечь студентов в обучение с помощью электронного учебного курса. Поощрения студентов в курсе представлены в виде баллов, информация о которых прописана в заданиях. 3. Поддержка обратной связи со студентами - 2 балла. В данном курсе авторы сделали 16 активностей по коммуникации в системе управления обучением (данные взяты из сервиса «Активности пользователей в LMS Moodle», который разработан в Томском государственном университете) [6]. Активности включают комментирование выполненных заданий в курсе, использование чатов, форумов для обсуждения учебных тем, консультирования, выполнения заданий. 4. Использование разнообразных форм самоконтроля и контроля - 3 балла. В ЭУК используются различные виды и формы промежуточного и итогового контроля, в том числе интерактивные формы контроля, представленные в соответствующей системе (эссе, тесты, семинары и т.п.), формы контроля отражают специфику заданий. В рассматриваемом курсе содержатся такие элементы, как задания, семинары, форум. Эти элементы используются для предоставления ответов на поставленные учебные задачи. В электронном курсе 4 теста, 2 форума для семинара, есть задания на взаимное оценивание работ. 5. Диагностика результатов обучения - 3 балла. В данном курсе авторы сделали 173 активности по мониторингу (данные взяты из сервиса «Активности пользователей»). Активности включают мониторинг отчетов в LMS Moodle: журнала событий, событий в реальном режиме времени, отчет о деятельности, общая статистика, участие в курсе. 6. Ведение жцрнала учебных достижений студентов - 3 балла. В данном курсе авторы сделали 939 активностей по оцениванию (данные взяты из сервиса «Активности пользователей»). Активности включают занесение оценок по выполнению заданий, участию в курсе. Далее осуществляется оценка сначала категории организационного обучения ЭУК: После необходимо рассчитать категории контроля обучения с помощью ЭУК: Расчет обобщенного показателя качества электронных курсов: Операции со следующими 27 электронными курсами были проведены аналогично. В результате получилась сводная диаграмма со средними баллами по каждому из критериев (рис. 2) и категорий (рис. 3). В итоге применения методики были получены показатели по каждой из категорий и сформирован рейтинг ЭУК. Исходя из полученных данных, 21 % электронных учебных курсов не нужна доработка на предмет качественного сопровождения, еще 21 % курсов необходима доработка, остальным 58 % ЭУК требуется первостепенное внимание. Крайне низкие значения имеют показатели поддержки обратной связи со студентами, а также показатели учета индивидуальных особенностей и диагностики результатов. Исходя из проведенного анализа ЭУК, можно сформулировать следующие рекомендации по улучшению качества сопровождения ЭО в LMS Moodle: - Уделить внимание на форумы, которые должны быть не просто созданы, а применены. Отвечая на вопросы студентов на форуме, вместо личных сообщений в LMS Moodle преподаватель охватывает большую часть группы, закрывая возникающие вопросы нескольких человек вместо одного. - Создавать различные формы и варианты промежуточных и итоговых заданий в зависимости от уровня сложности, тем самым делая упор на индивидуализацию, возможности и заинтересованность студентов. Также, написав комментарий для каждого задания, уменьшается необходимость для множественного очного повтора заданий студентам. - Проводить мониторинг результатов для выявления активностей студентов по отдельным заданиям, по траектории движения в курсе. Это позволит выявлять особенности группы, трудности, с которыми сталкиваются студенты. - Добавлять интерактивный и мультимедийный контент, который будет активизировать интерес к получению новых знаний и тем самым повышать уровень мотивации к обучению. - Использовать различные виды и формы промежуточного и итогового контроля, в том числе интерактивные (эссе, тесты, семинары и т.д). - Проставлять оценки в электронный журнал по отдельным заданиям, промежуточной аттестации. Если он будет доступен студентам, то может мотивировать их к улучшению результатов и быть осведомленным о текущей ситуации по обучению на курсе. - Работать в команде с коллегами или со студентами по сопровождению ЭО в LMS Moodle. Таким образом, основа гарантий качества в области электронного обучения - стандартизация и сертификация. В настоящее время создано достаточное количество национальных критериев и агентств за рубежом. Что касается вузов нашей страны, то они должны повышать квалификацию сотрудников в области ЭО, внедрять ЭО, отходя от экспериментальной деятельности, осуществлять сертификацию менеджмента организации электронного обучения для предоставления качественного электронного обучения. Описание категорий и критериев качества сопровождения ЭО в LMS Moodle Критерии Описание критериев сравнения в балльной шкале Категория организационного обеспечения ЭУК Учет индивидуальных особенностей студентов 3 - в ЭУК представлены различные формы и варианты промежуточных и итоговых заданий в зависимости от их уровня сложности, имеются пояснения к оценке итоговых результатов. 2 - в ЭУК представлены различные варианты промежуточных и итоговых заданий в зависимости от их уровня сложности, имеются пояснения к оценке итоговых результатов. 1 - в ЭУК представлены различные варианты промежуточных и итоговых заданий, не дифференцированные по уровням сложности. 0 - в ЭУК предусмотрена единая для всех траектория обучения Повышение уровня мотивации к обучению 3 - ЭУК обладает свойством интерактивности и мультимедийности, содержит интересные ссылки и материалы, предусмотрена система поощрений студентов за успешную работу. 2 - ЭУК содержит интересные ссылки и материалы, связанные с изучаемой предметной областью, предусмотрена система поощрений студентов за успешную работу. 1 - предусмотрена система поощрений студентов за успешную работу. 0 - компонент повышения мотивации обучения студентов не представлен в ЭУК Поддержка обратной связи со студентами 3 - преподаватели ЭУК делают более 70 активностей по этому показателю. 2 - преподаватели ЭУК делают от 10 до 70 активностей по этому показателю. 1 - преподаватели ЭУК делают до 10 активностей по этому показателю. 0 - преподаватель не поддерживает обратную связь Категория контроля обучения с помощью ЭУК Использование разнообразных форм самоконтроля и контроля 3 - в ЭУК используются различные виды и формы промежуточного и итогового контроля, в том числе интерактивные формы контроля, представленные в соответствующей LMS системе (эссе, тесты, семинары и т.п.), формы контроля отражают специфику заданий. 2 - в ЭУК используются различные виды и формы промежуточного и итогового контроля, но недостаточно востребованы интерактивные формы. 1 - используемые в ЭУК формы контроля однотипны, не отражают специфику заданий, не используются интерактивные формы контроля. 0 - компонент не представлен Диагностика результатов обучения 3 - преподаватели ЭУК проводят мониторинг, и их активности составляют более 100 действий по этому показателю. 2 - преподаватели ЭУК проводят мониторинг, и их активности составляют менее 100 действий по этому показателю. 1 - проводится мониторинг, и активности преподавателей по этому показателю равны менее 50 действий. 0 - не проводится мониторинг Ведение журнала учебных достижений студентов 3 - преподаватели проводят оценивание работ в электронном курсе, и их активности по этому показателю больше 200 действий. 2 - преподаватели проводят оценивание работ в электронном курсе, и их активности по этому показателю составляют от 100 до 200 действий. 1 - преподаватели по этому показателю делают менее 100 активностей. 0 - преподаватели не оценивают работы студентов в курсе

Скачать электронную версию публикации