MOOC quality assurance by a university-course produce.pdf Одна из ключевых тенденций в области онлайн-обучения, наметившаяся в последние несколько лет в мировой практике, заключается во встраивании массовых открытых онлайн-курсов (МООК) в учебный процесс в образовательных организациях. О смешанном обучении (англ. - blended learning), подразумевающем гибкое соединение онлайн-курсов и очного обучения, стали говорить с момента широкого появления МООК в 2012 г. [1]. В российских вузах практика учета результатов обучения на МООК появилась в 2013-2015 гг. [2, 3], когда в ведущих университетах страны стали разрабатываться документы, определяющие механизмы такого перезачета. Существенным стимулом для развития нормативно-правовой и методической составляющей этого процесса в сфере высшего образования стал приоритетный проект «Современная цифровая образовательная среда в РФ», ставящий одной из своих задач увеличение к 2025 г. числа обучающихся, прошедших онлайн-курсы «для формального образования с получением документа, подтверждающего результаты обучения», до 1 млн человек [4]. Эта тенденция актуализировала потребность в развитии системы оценки качества применительно к данному образовательному формату. Распространенные сегодня подходы к оценке качества основаны на оценке традиционных образовательных курсов, в том числе реализуемых с применением дистанционных образовательных технологий. Зарубежные образовательные организации проводят оценку онлайн-курсов, применяя международные методики Quality Matters [5] и ECB-check [6], а также иные более узкие методики, включающие некоторые параметры из этих двух и свои собственные разработки. Вопросам управления качеством в образовании уделяется большое внимание в исследованиях, посвященных как методологическим вопросам управления качеством [7, 8], так и решению задач, возникающих в практике управления качеством на разных уровнях образования, в различных контекстах, в том числе в управлении электронным обучением (далее - ЭО) [9] и, в частности, оценке качества обучения на МООК [10]. В Российской Федерации обсуждение вопросов качества онлайн-курсов активизировалось в процессе разработки и обсуждения проекта «Современная цифровая образовательная среда в РФ» (далее - СЦОС), когда была сформирована специальная экспертная группа по качеству онлайн-курсов [11]. Созданный портал СЦОС [12] включает подсистему «Реестр онлайн-курсов» [13], где отражены результаты обязательной и добровольной экспертизы качества МООК. В Томском государственном университете мероприятия по обеспечению качества проводятся на каждом этапе работы с онлайн-курсом, от отбора идеи до анализа результатов, достигнутых слушателями по окончании обучения1. На первом этапе - в рамках внутриуниверситетского конкурса педагогических сценариев онлайн-курсов ТГУ - оцениваются степень компетентности автора идеи в онлайн-обучении, методическая проработанность идеи (задачи обучения, ожидаемые результаты, целевая аудитория, требуемые стартовые знания и умения («пререквизиты»)), учебно-тематический план, предполагаемые контрольно-измерительные материалы и т.д. Одним из документов в заявке на конкурс является сопроводительное письмо от руководителя образовательной программы или подразделения университета, который выполняет роль гаранта содержательного качества идеи курса, подаваемой на конкурс. После объявления конкурса в университете проводятся организационные встречи и индивидуальные консультации для потенциальных конкурсантов и заинтересованных лиц, на которых рассматриваются вопросы как формата, так и алгоритма проведения конкурса и дальнейшей работы с победителями. Второй этап - детальная разработка онлайн-курса автором-победителем конкурса, за которой следует оценивание качества разработанных учебных материалов курсов в ходе технолого-педагогической экспертизы, проводимой специалистом по педагогическому дизайну онлайн-курсов, и содержательной экспертизы с привлечением исследователей и / или преподавателей соответствующего предмета. Результатом первой экспертизы является вывод о соответствии материалов требованиям, предъявляемым к МООК, обусловленным форматом и возможностями образовательной онлайн-платформы, на которой планируется запустить этот курс. Если это, например, платформа Coursera, то в дополнение к этому методист платформы высылает свои отзывы и рекомендации к педагогическому сценарию курса. Содержательная экспертиза призвана ответить на вопрос, действительно ли предлагаемые материалы соответствуют текущему уровню развития предметной области, нет ли содержательных ошибок, актуальны ли источники, использованные и предложенные к самостоятельному изучению, находятся ли в согласии ожидаемые результаты, контрольно-измерительные и обучающие материалы. Третий этап - видеопроизводство - подразумевает обеспечение качества образовательного продукта за счет технического оборудования, используемых методических материалов (шаблоны, таблицы, инструкция «Путеводитель по созданию онлайн-курса») и, в первую очередь, достаточного уровня компетенции сотрудников команды производства онлайн-курсов: методиста, который предлагает улучшения в курсе, оператора и видеомонтажера, разрабатывающих визуальную составляющую курса и в частности видеолекций, а также корректора, редактирующего текстовые материалы, и координатора МООК на платформе, осуществляющего загрузку курса, которая затем проверяется технической службой платформы или бета-тестерами на наличие ошибок и недоработок. Следующий этап - это сопровождение учебного процесса на платформе. Он начинается накануне или в первые дни после запуска курса, когда методист и координатор МООК проводят индивидуальную консультацию для автора-преподавателя и / или его ассистента по работе с платформой, доступу к аналитике курса, взаимодействию со слушателями и т.д. Сопровождение учебного процесса на платформе включает ответы автора или его представителя на содержательные вопросы на форуме, ответы координатора на вопросы, связанные с возникшими у слушателей трудностями в ходе взаимодействия с платформой, и их решение с привлечением при необходимости технической службы самой платформы, оперативную корректировку материалов курса по итогам анализа хода и результатов обучения слушателей, анкетирований, замечаний и предложений со стороны участников курса. Оппоненты МООК приводят в качестве одного из своих главных аргументов тот факт, что процент завершивших такие курсы очень низок [14]. Так, например, на платформе Coursera доля завершивших обучение на онлайн-курсах составляет около 5-7 %. Но в абсолютных цифрах это количество составляет миллионы человек. Онлайн-платформы постоянно работают над увеличением числа завершивших обучение. Команда платформы Coursera, например, регулярно проводит исследования и предлагает новые модели обучения, направленные не только на монетизацию, но и на увеличение числа завершивших обучение на курсах. Исследователи отмечают, что со значительным увеличением количества слушателей МООК (в 2 раза по сравнению с 2014 г.) резко ослабело взаимодействие в курсах [15]. И при этом именно взаимодействие является таким важным составляющим онлайн-обучения, что при прочих равных условиях слабая активность сообщества на форуме или ее отсутствие может стать причиной ухода слушателя. С этим, на наш взгляд, в том числе можно связать и скептицизм относительно МООК многих преподавателей: «Чему можно научить за 5-10 минут видеолекции?». Подобная позиция администраций компаний и вузов, принимающих решение об учёте (или перезачёте) результатов онлайн-обучения на МООК, приводит к тому, что этот процесс идёт не столь быстро, как мог бы идти. Необходимо понимать, что качественный МООК - это такой курс, где основная работа преподавателя проводится за пределами съемочной площадки видеолекций: это и тщательно проработанная программа курса, и составление заданий, которые не только и не столько проверяют полученные в лекции знания, сколько обучают, расставляют акценты в обучении и дают представление слушателям МООК об их возрастающем уровне компетенций от первого к последнему модулю курса. И не меньшее значение для учебных целей имеет взаимодействие на форуме. Coursera рекомендует преподавателям не участвовать активно на форуме, но это вовсе не значит, что преподаватель не принимает в нем участие. Ведь только преподаватель может сформулировать такие темы для обсуждения на форуме, которые обогатят учебный опыт слушателей курса, помогут им лучше ориентироваться в материале, узнавать о контексте обсуждаемого в курсе явления в различных городах и даже странах от своих сокурсников, учиться друг у друга и создавать совместные проекты, применяя полученные в курсе знания и овладевая новыми навыками. Именно это взаимодействие может поставить онлайн-обучение по качеству на уровень традиционного очного обучения, и, как говорят практики онлайн-обучения, точно выше уровня заочного обучения. Согласно R. Brinkerhoff, при традиционном обучении 90 % ресурсов уходит на дизайн, разработку и реализацию программы и лишь по 5 % на то, что происходит до и после программы. В результате 70 % обучающихся пытались применить навыки и потерпели неудачу, а оставшиеся разделились пополам на тех, кто достиг устойчивости навыков, и тех, кто даже и не пытался их применять. Если же 50 % ресурсов тратить на постпрограммное сопровождение слушателей, а остальные 50 % поровну между предпрограммной подготовкой и непосредственно программой, то 85 % достигают устойчивости навыков (при 5 % не пытавшихся применить навыки в жизни и 10 % потерпевших в этом неудачу) [16]. Перенося результаты этого исследования на МООКи, получаем, что для большей эффективности курсов авторам-преподавателям и команде производства следует половину своих ресурсов выделять на работу слушателей после (!) просмотра видеолекций и выполнения заданий, например выполнения итоговой проектной работы с применением приобретенных знаний и навыков. С этим согласуются такие модели обучения, предлагаемые, например, Coursera, как индивидуальное наставничество преподавателем отдельных учащихся. Наставничество становится более полезным и результативным, если оно направлено не только на изучение материалов курса, но и на поддержку учащегося во время выполнения итоговой работы по МООК. Таким образом, выстроены программы повышения квалификации, которые команда Института дистанционного образования ТГУ предлагает для преподавателей, желающих повысить свою квалификацию в электронном обучении: слушатели подготавливаются к программе, предварительно знакомятся с материалами, выполняя диагностические задания, в ходе программы преподаватели взаимодействуют со слушателями очно, а после программы при дистанционном взаимодействии осуществляют поддержку слушателей при выполнении итоговой проектной работы по программе. Наш опыт, результаты обучения по данным программам и анкетирование слушателей показывают, что при таком смешанном подходе к организации обучения слушатели достигают устойчивости навыков (порядка 82 % применяют результаты обучения в своей профессиональной деятельности). После того как курс пройдет несколько запусков и по нему на платформе наберется достаточное количество данных для исследования, на пятом этапе проводится анализ динамики записи, отчислений, завершения обучения и сертификации, результативности выполнения заданий курса слушателями, активности общения на форуме и т.д. Результаты систематизируются, оформляются в качестве отчета, составляются предложения по улучшению курса и отправляются для ознакомления автору-преподавателю. Изменения, по которым достигнуто согласие, вносятся в курс и через один или несколько запусков делается повторный срез для оценки их эффективности. Раз в полгода проводится фронтальный анализ результатов добровольного анкетирования, которое слушатели проходят в начале и по завершении обучения на курсе; дальнейшая работа с ними аналогична той, что проводится с данными, получаемыми с платформы. Несмотря на то, что некоторые исследователи и практики считают, что слушатели онлайн-курсов не могут считаться экспертами в качестве онлайн-курсов, так же как и школьники - в качестве уроков [10], мы считаем, что портрет типичного слушателя онлайн-курсов, в частности, на платформе Coursera (человек с высшим образованием 25-40 лет, работающий и желающий получить дополнительные знания для продвижения по службе или для личностного развития, оплачивающий свое обучение или сертификацию на курсе), позволяет нам считать его одной из заинтересованных сторон, говоря языком рыночной экономики, потребителем образовательной услуги, который имеет право голоса в оценке курса. Его представление о качестве является важным для формирования комплексной системы оценивания, учитывающей позицию всех заинтересованных сторон. В исходящее анкетирование мы также включаем вопросы, связанные с рекомендациями слушателей по улучшению качества МООК. По итогам этого анализа может быть принято решение об 1) изменении описания курса (например, изменение целевой аудитории, требований к уровню владения материалом на входе, приблизительная учебная нагрузка), 2) изменении формулировки или порога прохождения заданий, 3) изменении каналов продвижения в случае, если установлено, что курс интересен и высокоэффективен для определенной категории слушателей, которые ранее целенаправленно в рекламную кампанию не включались, 4) проведении организационной встречи с преподавателями курса, о необходимости его активного сопровождения. Массовые открытые онлайн-курсы можно классифицировать по различным критериям, самый высокий уровень их дифференциации - научно-популярные и специализированные. Их различия мы постарались систематизировать в таблице. В портфолио Томского государственного университета имеются и научно-популярные, и узкоспециализированные курсы. Когда эксперты конкурсной комиссии ТГУ выбирают тот или иной педсценарий онлайн-курса для оказания грантовой поддержки, они учитывают в том числе и эти различия. Когда говорят об оценке качества или хотя бы успешности онлайн-курса, часто приводят количество записавшихся на него слушателей, количество завершивших обучение и сертифицировавшихся. При этом научно-популярные курсы будут показывать хорошие результаты по первому параметру, но проигрывать по второму и третьему, а узкоспециализированные - с точностью до наоборот. Эта истина позволяет задуматься о том, что критерии качества или успешности не могут быть универсальными. Для проверки гипотезы о том, что качество различных курсов оценивается по-разному, было принято решение обратиться к ответам слушателей на анкету, заполняемую по завершении обучения. В этой анкете были предложены следующие вопросы, связанные с качеством: Какие элементы были Вам наиболее полезны (множественный выбор)? Удовлетворены ли Вы глубиной содержания курса (да/нет)? Как Вы оцениваете уровень компетентности преподавателя (высокий/средний/низкий)? Авторы разделили полученные ответы на эти вопросы на две группы (на основании того, слушатели какого курса их дали - научно-популярного или узкоспециализированного), вывели средние арифметические и сравнили между собой. При генеральной совокупности в 3 238 неуникальных слушателей 1 499 человек заполнили анкеты, завершив обучение на 19 МООК ТГУ, предложенных на двух платформах. Таким образом, были получены следующие данные: 93,10 % слушателей научно-популярных курсов и 81,62 % слушателей узкоспециализированных курсов считают наиболее полезными видеолекции; задания считают наиболее полезными 37,03 и 44,16 % соответственно. На этом основании мы строим догадки о различных ценностях слушателей различных курсов: для аудитории научно-популярных курсов несколько важнее потребление информации, а для аудитории узкоспециализированных - несколько важнее проверка своих знаний и отработка навыков. При этом для первой группы в видеолекциях наверняка принципиальны доступное изложение и высокохудожественный ряд, а для второй - экспертное мнение и уникальность материалов. Задания для первой группы скорее представляются необязательными элементами, которые должны нести некую развлекательную функцию для того, чтобы замотивировать слушателей на выполнение. Для второй группы задания - это более значимый элемент для обучения и проверки своих профессиональных компетенций. 91 % слушателей научно-популярных и 86 % узкоспециализированных курсов оценивают уровень компетенции преподавателя как высокий. Удовлетворены глубиной содержания курса 80 и 76 % слушателей соответственно. Значит ли это, что аудитория профильных, узкоспециализированных курсов более требовательна или научно-популярные курсы ТГУ действительно превосходят узкоспециализированные в качестве, на имеющихся данных выяснить не удалось. В связи с тем, что анализ проводился на материале анкет, собранных из курсов, размещенных на двух платформах, причем один курс был размещен на обеих, возник исследовательский вопрос: одинаково ли оценивает качество этого курса аудитория различных платформ? Данные говорят, что нет: на платформе Лекториум удовлетворены глубиной курса 94 % слушателей, завершивших курс и заполнивших анкету, в то время как на Coursera - уже 79 % слушателей. 93 % аудитории российской платформы высоко оценивают уровень компетентности автора-преподавателя курса, а на международной платформе - 84 %. Это позволяет нам говорить, что результаты оценки качества одного и того же курса, представленного на различных платформах, едва ли будут идентичными в силу различия в целевой аудитории образовательной онлайн-площадки. Анализируя собственный опыт, мы пришли к следующему выводу: оценка качества не может быть унифицирована по причине существования различных типов онлайн-курсов, а оценка качествами слушателей - из-за различия целевых аудиторий платформ. Нам кажется логичным, что разработка и учет различных критериев оценки качества хотя бы для этих двух типов курсов будут иметь следствием более объективную картину качества курсов. Заключение Существующие инструменты и методики оценки качества массовых открытых онлайн-курсов, представленные в различных вариантах и источниках, позволяют сформировать обоснованное представление об уровне разрабатываемого или разработанного образовательного курса. Томский государственный университет как вуз-разработчик онлайн-курсов сформировал собственную систему оценки качества онлайн-курсов на всех основных этапах их производства. Анализ оценки качества онлайн-курсов ТГУ, проведенный на основе анкет слушателей, завершивших обучение, показал слабость универсальных критериев оценки качества онлайн-курсов без учета их специфики. Оценка качества даже одного и того же курса, размещенного на различных платформах, может варьироваться в зависимости от целевой аудитории платформы, целей слушателей и т.д. Различия научно-популярных и узкоспециализированных массовых открытых онлайн-курсов Параметр Научно-популярный курс Специализированный курс Цели университета в разработке и реализации МООК Брендирование университета и продвижение научных школ; просветительство («Третья миссия» университета) Монетизация (прибыль от продажи сертификатов) и возврат вложенных в разработку МООК инвестиций; интеграция МООК в ООП университета Задача автора при создании учебных материалов Для МООК Формирование нового мировоззрения, направленного на переосмысление своего места и роли человека в мире; доступность изложения материала (для разной аудитории курса) Ориентация материалов на приобретение слушателями профессиональных знаний, умений и навыков Сопровождение учебного процесса Учебное сообщество характеризуется большой независимостью от автора-преподавателя, и слушатели, как правило, способны самостоятельно изучить курс Участие автора-преподавателя как эксперта в области принципиально важно; в некоторых случаях необходимо участие менторов Требования к результатам обучения Рефлексия относительно полученных знаний; приобретение когнитивных навыков; формирование «человека и гражданина» Качественное улучшение и укрепление слушателей МООК в своей профессиональной позиции; соответствие результатов обучения профессиональным и образовательным стандартам (для продвижения по службе и перезачета кредитов)

Скачать электронную версию публикации

Paul M.A. Baker, Keith R. Bujak, Rich DeMillo. The Evolving University: Disruptive Change and Institutional Innovation // Procedia Computer Science. - 2012. - Vol. 14. - P. 330-335.

Положение об академической мобильности студентов НИУ ВШЭ [Электронный ресурс] // hse.ru: официальный сайт Высшей школы экономики. - М., 2013. - URL: https://www.hse.ru/docs/89067457.html

Положение о зачете результатов освоения открытых онлайн-курсов в НИ ТГУ [Электронный ресурс] // tsu.ru: официальный сайт Томского государственного университета. - Томск, 2015. - URL: http://www.tsu.ru/upload/medialibrary/334/536_od.pdf

Паспорт приоритетного проекта “Современная цифровая образовательная среда в Российской Федерации” [Электронный ресурс] // government.ru: официальный сайт Правительства России. - М., 2016. - URL: http://static.government.ru/media/files/8SiLmMBgjAN89vZbUUtmuF5lZYfTvOAG.pdf

Course Design Rubric Standards [Electronic resource] // Quality matters. - Electronic data. - [W. p.], 2014. - URL: https://www.qualitymatters.org/qa-resources/rubric-standards/higher-ed-rubric

Open ECBCheck handbook [Electronic resource] // Ecb-check. - Electronic data. - [W. p.], 2013. - URL: http://www.ecb-check.net/files/2013/01/Open-ECBCheck_handbook.pdf

Vasilkov Y., Gushina L. Analysis of the effectiveness and efficiency of management systems based on system analysis methodology // International Journal for Quality Research. - 2014. - Vol. 8(3). - P. 347-356.

Putnik G., Ávila P. Mechanisms to promote continuous improvement in quality management systems // International Journal for Quality Research. - 2015. - Vol. 9(1). - P. 1-8.

Moguš A.M. The use of quality management systems for e-learning // The Sixth International Conference on e-Learning (eLearning-2015), 2015. - Retrieved from http://econference.metropolitan.ac.rs/files/pdf/2015/27-Ana-Mirkovic-Mogus-The-use-of-quality-management-systems-for-e-learning.pdf

Margaryan A., Bianco M., Littlejohn A. Instructional quality of Massive Open Online Courses (MOOCs) // Computers & Education. - 2014. - Vol. 80. - P. 77-83.

Онлайн-образование ведет к развитию цифрового образования и анализу больших данных http://ac.gov.ru/events/012090.html

Оценка качества онлайн-курсов [Электронный ресурс] // neorusedu.ru: официальный сайт проекта «Современная цифровая образовательная среда». - М., 2017. - URL: http://neorusedu.ru/activity/otsenka-kachestva-onlayn-kursov

Современная цифровая образовательная среда [Электронный ресурс]. - М., 2017. - URL: https://online.edu.ru/ru/

Ho A. D., Chuang I., Reich J. et al. HarvardX and MITx: Two years of open online courses (HarvardX Working Paper. - 2015. - No. 10 // Retrieved from https://dspace.mit.edu/bitstream/handle/1721.1/96825/SSRN-id2586847.pdf

Shah D. (2016). MOOC trends in 2016: MOOCs no longer massive // Retrieved from https://www.class-central.com/report/moocs-no-longer-massive

Brinkerhoff R. Telling Training’s Story: Using the successful case method to improve learning and performance. - San Francisco: Berrett-Koehler, 2006.