QUALITY MANAGEMENT AS A CONDITION FOR THE DEVELOPMENT OF E-LEARNING IN A MODERN UNIVERSITY.pdf Развитие электронного обучения (далее - ЭО) сопровождается усилением внимания к его качеству, управление которым основывается на контроле не только знаний обучаемых, но и процессов обучения, их организации и применяемых средств. Качество образования должно отвечать одним и тем же требованиям, вне зависимости от формы обучения и технологий. Вопросам управления качеством в образовании уделяется большое внимание в исследованиях, посвященных как методологическим вопросам управления качеством [1], [2], так и решению задач, возникающих в практике управления качеством на разных уровнях образования, в различных контекстах, в том числе в управлении ЭО [3]. Для обеспечения качества ЭО, как правило, применяются международные стандарты менеджмента, которые предусматривают регулярное проведение самооценки и внешнего аудита - такие, например, как международные стандарты ISO 9001:2008, модель делового совершенства EFQM, модель премии по качеству в области образования [4]. Выбор способа независимой оценки качества зависит от задач ЭО. Распространенные в мире процедуры внешней гарантии качества ЭО - профессионально-общественная аккредитация и экспертиза образовательных программ, институциональная экспертиза, общественная аккредитация или аудит организации в целом в России применяются пока редко, хотя очевидна тенденция к более широкому распространению аудита и сертификации систем менеджмента организаций в части ЭО. Поэтому стратегический выбор большинства российских участников ЭО связан с систематической внутриорганизационной работой по управлению качеством, которая должна быть направлена на непрерывное улучшение ЭО. Системный подход к управлению качеством требует постоянного анализа потребностей и ожиданий участников ЭО - студентов, преподавателей, работодателей и др. в целях улучшения бизнес-процессов, происходящих в системе ЭО, и эффективного управления ими. Анализу механизмов и инструментов управления качеством ЭО внутри образовательной организации посвящена данная работа, в которой представлен опыт одного из ведущих российских университетов - Национального исследовательского Томского государственного университета. В системе управления качеством ЭО важное значение имеют показатели качества содержания образования, качества технологий обучения и качества результатов образования. Выбор групп показателей и конкретных показателей качества зависит от того, насколько существенно они влияют на качество процесса ЭО и могут быть оперативно оценены для практического использования в системе управления качеством. К таким показателям относятся показатели качества учебных материалов, электронной среды, сопровождения учебного процесса. На данном этапе развития ЭО наиболее эффективные инструменты управления качеством ЭО сосредоточены в системах управления учебным процессом - LMS. Но различные формы неформального образования расширяют границу виртуальной среды обучения (VLE) до социальных медиа, специализированных платформ МООК, облачных сервисов и т.д., повышая тем самым индивидуализацию образования, уникальность персональных учебных сред (PLE) [5], [6]. Эта ситуация подтверждается проведенными исследованиями и тенденциями развития электронного обучения в Национальном исследовательском Томском государственном университете (ТГУ). Сравнительное исследование особенностей LMS и социальных сетей [7], [8] показало преимущество последних, по мнению студентов, по таким критериям как частота и оперативность общения, мотивированность и эмоциональность обучения, эффективность группового взаимодействия. В 2015 году общее количество обучающихся в ТГУ увеличилось в 3 раза за счет слушателей МООК, разработанных в университете. В данной статье рассмотрена возможность управления показателями качества учебных материалов и коммуникаций в условиях многосоставной и многослойной электронной среды обучения на примере ТГУ. В работе используются следующие методы и методики: описание эмпирического опыта, статистическая обработка данных и сравнительный анализ результатов. Электронное обучение предъявляет требования как к форме представления учебных материалов (многослойность, интерактивность. открытость и др.), так и к технологиям (электронные учебные курсы в LMS, MOOCs, сетевые ресурсы, ресурсы с удаленным доступом, тренажеры, симуляторы и др.). Оценка качества этих материалов должна проходить как на содержательном, так и на технологическом уровнях. Одним из эффективных способов оценки качества учебных материалов является их экспертиза, осуществляемая специалистами в области предметного содержания, методик и технологий электронного обучения. Внедрение электронных учебных курсов (ЭУК), прошедших экспертизу, является показателем результативности профессиональной деятельности преподавателя вуза. Главная цель экспертизы - установление степени соответствия структуры и контента ЭУК российским федеральным государственным образовательным стандартам и учебно-методическим комплексам соответствующих дисциплин. Ключевые этапы экспертизы внутрикампусных ЭУК в ТГУ сосредоточены в рамках отдельного факультета. Как показывает практика, данный принцип организации является наиболее эффективным и оптимальным по следующим причинам. Во-первых, именно экспертные (учебно-методические) комиссии факультетов имеют возможность оценить ЭУК с точки зрения специфики учебной дисциплины. Как показывает опыт, контент гуманитарных, естественно-научных и физико-математических направлений существенно отличается по вполне понятным и объективным причинам. Во-вторых, локализация основного этапа экспертизы непосредственно «на местах» позволяет увеличить показатели профессиональной деятельности как факультета в целом, так и отдельного преподавателя. Объективность и независимость экспертных заключений учебно-методических комиссий факультетов контролирует Институт дистанционного образования, который является последней инстанцией в процедуре экспертизы ЭУК. Однако в рамках проведения внутриуниверситетских конкурсов по электронному обучению создаются независимые экспертные комиссии и экспертные советы. Дополнительным инструментом, позволяющим проводить мониторинг обеспеченности электронными учебными материалами на уровне образовательной программы, кафедры, факультета, университета, является специально разработанный сервис. Он реализован в виде дополнения LMS MOODLE и позволяет осуществлять анализ данных о количестве и статусе электронных учебных курсов, дифференцируя их по уровням высшего образования, направлениям подготовки, трудоемкости, формам обучения и экспертных оценок. Содержательная экспертиза материалов МООС проводится специалистами в предметной области конкретного МООС. Главная цель экспертизы: 1) оценить актуальность содержания МООС, полноту и достоверность приводимых сведений, потенциальную аудиторию курса; 2) отметить, насколько достоверными могут считаться использованные источники, а авторские выводы - обоснованными; 3) оценить корректность и уместность приводимых автором курса примеров и иллюстраций; 4) дать оценку курсу с методической точки зрения и определить, отвечает ли курс требованиям преподавания данной дисциплины, в случае, если МООС планируется использовать в качестве аналога аудиторного курса и интегрировать его в образовательную программу. А именно, соответствуют ли этой цели объем учебного материала, учебный план, задания и список литературы и дополнительных материалов; 5) дать оценку стилю подачи материала: легко ли воспринимается предложенный материал, достаточно ли он содержит примеров, насколько качественно он структурирован, соответствует ли тематике и целевой аудитории создаваемого МООС; 6) есть ли у авторского стиля изложения материала своеобразие и отличительные черты: уместны ли они в данном курсе (стоит ли их убрать либо наоборот - рекомендовать автору использовать их в дальнейшем, в процессе съемок видеолекций). Эксперт должен дать обоснованные выводы о материалах МООС в целом; сделать необходимые замечания, зафиксировать рекомендации и предложения по улучшению МООС. Помимо содержательной экспертизы материалов МООС, в ТГУ также анализируется качество МООСs путем проведения исходящего анкетирования слушателей, результаты которого следующие. Из 1668 человек генеральной совокупности среди 417 слушателей, прошедших опрос, 93% считают наиболее полезными элементами МООС видеолекции, 33% отмечают полезными задания и дополнительные материалы, 85% будут использовать материалы МООС в своей деятельности, 95% будут рекомендовать МООС своим знакомым. По мнению слушателей MOOCs ТГУ более чем в 2 раза вырос их уровень знания предмета. В исходящее анкетирование мы также включаем вопросы, связанные с рекомендациями слушателей по улучшению качества МООС. Данный анализ позволяет команде разработчиков корректировать, при необходимости, материалы курса. Наиболее сложным этапом в оценке качества учебных материалов является работа с социальными медиа и облачными сервисами, поскольку размещаемые там материалы характеризуются высокой мобильностью и изменчивостью. В этой связи, при разработке содержания курса, размещаемого в системе MOODLE, в ТГУ используются только те облачные приложения, применение которых не дублирует, а расширяет функциональные возможности LMS. Наиболее восстребованные из них: ленты времени (time-line), ментальные карты (mind-map), виртуальные собеседники, интерактивные презентации. Оценка качества учебных материалов, представленных в этом формате, проводится в рамках выше описанных процедур экспертизы внутрикампусных электронных курсов и МООК. Показатели качества сопровождения учебного процесса и связанных с ним педагогических коммуникаций являются наиболее сложными для измерения. Для работы с этими показателями в ТГУ разработан сервис мониторинга активности пользователей в LMS MOODLE. Новый сервис реализован в виде дополнительного приложения к системе MOODLE, доступен сотрудникам деканатов и специалистам, ответственным за электронное обучение на факультетах. Сервис позволяет проводить мониторинг активности студентов и преподавателей, составлять рейтинг наиболее активных преподавателей ЭО, что имеет важное значение как мотивационный фактор. Мониторинг активности преподавателя проводится на основе собранных статистических данных в Moodle и учитывает следующие показатели: · среднее количество активностей одного студента по просмотру контента; · среднее количество активностей одного студента по выполнению заданий и учебной коммуникации; · среднее количество активностей преподавателя на одного студента по созданию контента; · среднее количество активностей преподавателя на одного студента по сопровождению учебной работы; · общее количество активных студентов у преподавателя в системе; · общее количество активных курсов у преподавателя в системе. Данные выгружаются из системы с помощью специально разработанного скрипта в виде отчета-таблицы. Дифференциация различных видов активностей для преподавателя и студента в мониторинге осуществляется на основе анализа всех действий пользователя MOODLE. Пример распределения действий по видам активностей, проведенного в ТГУ, приведен здесь https://goo.gl/dZ0hYv. Для расчета рейтинга активности преподавателя, полученные статистические данные переводятся в баллы. Шкала оценивания по каждому из шести критериев от 0 до 10. Полученные баллы умножаются на различные весовые коэффициенты и суммируются. Рейтинг активности преподавателей рассчитывается по факультету и университету в целом. Данный мониторинг позволил администрации университета принять управленческое решение относительно поощрения активных преподавателей, выявить лучшие практики электронного обучения, проанализировать успешность ЭО на факультетах, что способствовало его развитию. Проведение мониторинга и составление рейтинга не только повысили интерес преподавателей к электронному обучению и их мотивацию к активному использованию дистанционных образовательных технологий в учебном процессе, но и продемонстрировали действенный подход к управлению качеством ЭО в вузе. Для оценки качества сопровождения учебного процесса со стороны авторов курса или их ассистентов в ТГУ куратором онлайн-платформы Coursera используется ежедневный мониторинг административной панели управления MOOCs, анализ активности слушателей и преподавателей на форумах. Данный мониторинг позволяет делать вывод о том, что на сопровождение МООС у преподавателя уходит в среднем от 3 до 5 часов в неделю, эта норма зависит от количества слушателей курса, типа заданий и предметного содержания МООС. Как показывает практика, курсы, в которых используются задания на взаимное оценивание peer-to-peer, задания по программированию, требуют большего вовлечения преподавателя для взаимодействия со слушателями. Так, к примеру, авторы курсов по программированию и теории вероятностей тратят примерно от 5 до 7 часов в неделю на консультации слушателей. Курсы, в которых используются тестовые вопросы с множественным выбором, в зависимости от количества слушателей и тематики содержания, как правило, требуют присутствия преподавателя на форуме от 2 до 4 часов в неделю. Данный мониторинг позволяет администрации университета принять решение о включении данной нагрузки в индивидуальный рабочий план преподавателя или о его поощрении дополнительной премией. В отличии от LMS, стандартный набор инструментов аналитики в социальных сетях не позволяет получать достаточно данных для анализа качества коммуникаций обучающихся в учебном сообществе. Недостаточный набор инструментов мониторинга в социальных сетях возможно компенсировать внешними специальными сервисами. Веб-приложения jagajam.com, разработанное для мониторинга активности участников сообществ в социальных сетях, позволяет получать количественные данные для анализа активности обучающихся и востребованности (популярности) контента. Приложение предоставляет следующие данные: · количество участников (активных, пассивных); · средний уровень активности по времени суток и дням недели; · средний уровень вовлеченности; · общее количество отдельных видов активностей (лайки, комментарии, репосты, публикации); · рейтинг пользователей по активности; · рейтинг публикаций по популярности; · время присутствия учащихся в сообществе. Анализ этих количественных данных позволяет оценить активность работы студентов и преподавателей в учебном сообществе социальных сетей и интегрировать эти данные с результатами мониторинга в LMS для комплексной оценки качества сопровождения. Студенты являются одной из заинтересованных сторон (стейкхолдеров) управления качеством образования. Их представление о качестве является важным для формирования комплексной системы оценивания, учитывающей мнение и интерес всех заинтересованных сторон. Для выявления критериев оценки электронного обучения с позиции потребителя со студентами ТГУ проведен педагогический эксперимент, в котором приняло участие 23 магистранта. Студентам было предложено сформулировать критерии для оценки качества электронного обучения. Выявленные критерии были обобщены в пять категорий: качество учебно-методических материалов, организация учебного процесса, индивидуализация обучения, педагогическая коммуникация, система контроля и оценивания. Эксперимент показал, что качество учебных материалов электронного курса ассоциируется у студентов со следующими характеристиками: · соответствие содержания учебных материалов теме, целям и задачам курса; · полнота учебно-методического комплекса курса: наличие рабочей программы курса, учебного плана, основных и дополнительных учебно-методических материалов, контролирующих материалов, методических указаний по прохождению курса; · достаточность учебных материалов для успешного освоения курса; · достаточность и понятность рекомендаций преподавателя для самостоятельной работы; · понятность содержания учебных материалов; · разнообразие форматов предлагаемых в курсе учебных материалов; · присутствие в курсе интерактивных и учебных материалов: mind-map (ментальные карты), интерактивная инфографика (анимация), time-line (ленты времени), интерактивное видео, познавательные игры, виртуальные лаборатории. Важно, что при определении критериев качества учебных материалов студенты подчеркнули, что содержание и форма (сценарий) представления учебных материалов могут стимулировать интерес к предмету. Участники эксперимента определили отдельную группу критериев, измеряющих качество организации учебного процесса в электронной среде: · соответствие количества времени, затраченное на изучение электронного курса, целям и задачам предмета; · логичная последовательность учебных тем и заданий в курсе, их соответствие тематическому и календарному плану занятий; · оптимальное для успешного обучения соотношение онлайн и аудиторных часов при изучении курса. С точки зрения студентов возможность индивидуализации обучения можно оценить через: · наличие в курсе заданий, для выполнения которых преподаватель предлагает студентам разные формы на выбор: тест, эссе, проект, индивидуальное задание и др.; · возможность формирования для каждого студента индивидуальной модели обучения по курсу, с оптимальным сочетанием аудиторных и онлайн занятий; · возможность для студента смены ролей в ходе освоения курса: студент, эксперт, преподаватель. Система педагогических коммуникаций в ЭО может оцениваться критериями: · использование преподавателями в MOODLE приёмов мотивации для успешного и своевременного прохождения курса: дедлайны, напоминания, система рейтинга и поощрение наиболее активных студентов, помощь и поддержка отстающим; · доступность преподавателя для обратной связи со студентами в электронной среде; · конструктивность и содержательность комментариев и замечаний преподавателя. К системе оценивания результатов обучения у студентов возникли следующие требования: · соответствие заданий изученному в курсе материалу; · ясность и понятность требований преподавателя к выполнению заданий; · использование разнообразных форм оценивания: тесты, задания, обсуждения в форуме, взаимная проверка; · соответствие критериев оценивания заданий их сложности, более сложные и трудоёмкие оцениваются более высоким баллом; · соответствие количества и сложности заданий целям и задачам курса; · своевременная проверка и оценивание заданий; · соответствие полученных оценок проделанной студентами работе. В анкете предложена шкала оценивания от 0 до 4, где 0 - электронное обучение по курсу не соответствует критерию, 1 - в основном не соответствует, 2 - частично соответствует, 3 - в основном соответствует, 4 - полностью соответствует. Пример анкеты на русском языке представлен в гугл-форме https://goo.gl/QEsNRq. Проведение анкетирования и обработка его результатов позволяют выявить проблемные места и успешные практики как в отдельном электронном курсе, так и на факультете в целом. Апробация анкеты с участием 160 студентов (1% от общей численности в ТГУ) показала, что по большинству критериев электронные курсы преподавателей оцениваются в 3-4 балла. Индивидуализация - единственная группа критериев, по которой оценки не превышали значения 2-3 балла (рис. 1). Рис. 1. Оценка качества электронных курсов студентами Результаты пилотного анкетирования показали, что представления студентов о качестве электронного обучения в целом соответствуют методике проектирования электронных курсов и практике их использования в университете. Относительно низкую оценку за индивидуализацию, можно объяснить смешанной моделью обучения студентов ТГУ, в которой индивидуальный подход к обучающемуся может реализоваться не только в электронной среде, но и во время аудиторных занятий и очных консультаций. Результаты эксперимента могут быть уточнены через вовлечение в обсуждение большего количества студентов, совместного определения критериев оценки качества, учёта специфики уровня высшего образования и направления подготовки студентов. Продолжение работы в этом направлении позволит учитывать оценку студентов в системе управления качеством электронного обучения в университете, сделать её более комплексной, объективной и прозрачной. Управление качеством ЭО является действенным инструментом развития этого образовательного формата, позволяющего масштабировать качественные образовательные продукты на различные целевые аудитории, различные педагогические задачи и т.д. и достигать качества очного обучения, которое до сих пор является неким эталоном результата образовательной деятельности. LMS является эффективным инструментом оценки и гарантом качества ЭО. Развитие индивидуализации обучения, расширение персональных сред приводит к усложнению процессов контроля и оценки качества ЭО, поскольку вовлекает в ЭО неформализованные технологии, качество которых трудно измерить традиционными инструментами. Соответственно, индивидуализация электронного обучения сопровождается формированием персональных учебных сред, доступ к которым может иметь только один из участников образовательного процесса. Задача управления качеством усложняется в связи с развитием технологий и необходимостью интегрировать различные педагогические и технологические инструменты в единую электронную образовательную среду, дополняя уже ставшие привычными LMS дополнительными инструментами, формирующими PLE или связанными с распространением МООС. Появление PLE и МООС усложняет задачу обеспечения качества электронного обучения при отсутствии привычных управленческих инструментов и требует поиска новых решений, позволяющих обеспечить, с одной стороны, индивидуализацию обучения, с другой стороны, решить управленческие задачи по мониторингу качества обучения, необходимому для формального образования в университете. Необходим поиск механизмов для оценки качества таких сред. Интеграция LMS, PLE и MOOCs становится одним из эффективных инструментов управления качеством ЭО в условиях расширения информационных образовательных сред, развития технологий и диверсификации образовательных задач.

Скачать электронную версию публикации