Совершенствование процедуры рейтингования вузов по уровню развития электронного обучения | Вестн. Том. гос. ун-та. 2018. № 437. DOI: 0.17223/15617793/437/24

Совершенствование процедуры рейтингования вузов по уровню развития электронного обучения

Предлагается использовать процедуру кластеризации вузов для выстраивания рейтинга эффективности их функционирования в сфере электронного образования. Данный подход представляется более рациональным, чем среднеарифметическое оценивание по значениям, гипотетически равноценным частным критериям. Данная процедура рейтингования способна эффективно работать при больших массивах данных - как самих вузов, так и данных по их оценке по различным критериям. Итоги построения рейтинга позволяют, с одной стороны, объективно упорядочить исходное множество вузов, а с другой - исключить критерии, не вносящие должный вклад в их дифференциацию, и, возможно, ввести новые, позволяющие выявить большие отличия в их функционировании.

Improvement of university ranking by the level of e-learning development.pdf Введение Изменения, которые происходят в настоящее время в системе преподавания, призваны качественно изменить образовательные услуги, предоставляемые на протяжении всего процесса обучения. Актуальной и практически значимой при реформировании высших учебных заведений является дифференциация вузов по качественным критериям, которая позволяет всесторонне и адекватно оценить их деятельность. Государственная и образовательная политика работает в направлении выявления и разработки действенных механизмов оценки эффективности работы образовательных организаций. Рейтинговая система, имеющая в основе построения кластерный анализ, позволяет выявить однородные по выбранным критериям вузы из исходной их совокупности. Данная процедура рейтингования способна эффективно работать при больших массивах данных - как самих вузов, так и данных по их оценке по различным критериям. Итоги построения рейтинга позволяют, с одной стороны, объективно упорядочить исходное множество вузов, а с другой - исключить критерии, не вносящие должный вклад в их дифференциацию, и, возможно, ввести новые, позволяющие выявить большие отличия в их функционировании. Отметим, тем не менее, что электронное обучение (ЭО) в настоящее время получает все большее развитие при одновременном увеличении числа образовательных учреждений, участвующих в этом процессе. Так, Г. В. Можаева [1] акцентирует внимание на актуальности внедрения ЭО в учебный процесс: «В последние годы электронное обучение становится неотъемлемой составляющей образовательного процесса в вузах и используется во всех формах обучения». В нашей стране в 2015 г. была создана Ассоциация «Национальная платформа открытого образования» (https://openedu.ru/course/), в которую вошли ведущие вузы в области электронного обучения в России. Для продвижения открытого образования для всех слоев населения вузы ассоциации разработали платформу «Открытое образование», где на сегодня находится 286 курсов. Курсы, которые размещаются на платформе, должны соответствовать высокому качеству и, следовательно, проходят все этапы тщательной экспертизы. Уральский федеральный университет имени первого Президента России Б. Н. Ельцина разместил на портале открытого образования 28 курсов, 52 курса у Высшей школы экономики, Томский государственный университет выставил на платформе 19 курсов. В исследованиях, проводимых в данной статье, вышеперечисленные вузы также занимают лидирующие позиции. Портал «Открытое образование» - наше российское достояние, гордость за отечественное образование. Проект 5-100 (https://5top100.ru/) является государственной программой поддержки российского высшего образования. Только лучшие вузы страны смогли стать участниками данного проекта, основной задачей которого является повышение конкурентоспособности российских университетов. Ведущая роль в данном проекте отводится разработке электронной информационно-образовательной среды, где размещаются образовательные ресурсы, есть возможность работать с контентом и т. д. Балтийский федеральный университет имени Иммануила Канта, Казанский (Приволжский) федеральный университет, Сибирский федеральный университет, Уральский федеральный университет имени первого Президента России Б. Н. Ельцина, Томский государственный университет, Высшая школа экономики, Томский политехнический университет являются не только лидерами отечественного образования в области электронного обучения, но и участниками проекта 5-100, который объединил передовые отечественные вузы. Приоритетный проект «Современная цифровая образовательная среда в Российской Федерации», запущенный в нашей стране в 2016 г., направлен на формирование нормативно-правовой базы электронного обучения, разработку системы качества онлайн-курсов, а также на создание государственных сервисов и выработку решений по интегрированию различных систем. Проекты, которые реализуются в нашей стране в области электронного обучения, дают возможность выявлять лидеров в данном направлении при помощи различного рода рейтингов. Анализ же процесса развития ЭО в образовательном процессе невозможен без его мониторинга. 165 Материалы и методы Рассмотрим варианты таблицы данных по мониторингу систем электронного обучения федеральных университетов [2]. В качестве итоговой оценки в данном исследовании используется среднее арифметическое, в соответствии с величиной которого и производится итоговое построение рейтинга. При несомненной простоте расчетов данный метод все же имеет ряд существенных недостатков: 1) малая информативность относительно значений критериев, включенных в расчеты; 2) отсутствие данных по вариативности результатов для каждого из участников рейтинга; 3) слабая обоснованность применения среднеарифметического значения, исходя из фактической неравноценности частных критериев оценки. В данном случае частные критерии разнородны, и, очевидно, требуется провести процедуру оценки их значимости в обобщенном (интегральном) критерии, т. е. определить их веса. С точки зрения получения итоговой оценки и последующего построения рейтинга по данным мониторинга речь, на наш взгляд, идет о решении многокритериальной задачи, а следовательно, в дальнейшем необходимо определить и вид обобщенного критерия - аддитивный, мультипликативный и т.п. В то же время можно предложить и принципиально иной подход, базирующийся на принципах кластерного анализа. Данное предложение можно обосновать тем, что любое множество внешне однородных объектов имеет тенденцию к разделению на подмножества (кластеры), иначе говоря, к дифференциации [3-6]. Данное предположение проверим на практике, воспользовавшись пакетом Statistika 8.0 и данными [2]. Необходимо отметить, что в исследуемой выборке приняли участие только те университеты, которые заполнили требуемые отчетные формы на момент мониторинга [Там же]. В то же время, на наш взгляд, данный факт не имеет принципиального значения, поскольку предлагаемая методика построения рейтинга фактически не зависит от объема выборки. Из множества процедур кластеризации [7] остановим свой выбор на кластеризации по методу средних [6]. Данный выбор обосновывается тем, что число кластеров было заранее определено равным двум по принципу разделения на ведущие в данной области вузы и вузы второго эшелона. Как вариант рассматривалась кластеризация по трем классам для сравнения меры дифференциации с предыдущей процедурой. Итоги расчетов приведены в табл. 1 и на рис. 1-2. Таблица 1 Таблица альных по Федеральный университет № кластера (при двух кластерах) № кластера (при трех кластерах) № вуза в исходном рейтинге Северный (Арктический) федеральный университет имени М.В. Ломоносова 1 1 1 Балтийский федеральный университет имени Иммануила Канта 1 3 3 Казанский (Приволжский) федеральный университет 1 1 5 Северо-Кавказский федеральный университет 1 1 6 Сибирский федеральный университет 2 2 2 Уральский федеральный университет имени первого Президента России Б.Н. Ельцина 2 2 4 166 Рис. 1. Значения средних при формировании двух кластеров для федеральных университетов Обсуждение результатов По данным кластерного анализа методом средних для федеральных университетов и его последующей визуализации можно отметить следующее: 1) при разбиении множества федеральных университетов на два кластера их обособление ярко выражено. Данный вывод иллюстрируется обособлением непосредственно самих ломаных на рис. 1. По нашему мнению, дифференциация еще более усилится при исключении шестого критерия, уровни средних по которому очень близки; 2) при формировании трех кластеров их обособление по-прежнему ярко выраженно. Графики средних идентичны предыдущему разбиению. Фактически в 3-й кластер выпадает лишь один из федеральных университетов из предшествующего кластера № 1. Дальнейший анализ показал, что он имеет наивысшую дисперсию по показателям, т.е. отсутствие четкого линейного тренда в них; 3) процедура кластеризации на три множества привела к выделению «слабого элемента». В дальнейшем возможно его отнесение к другому кластеру; 4) формирование как двух, так и трех кластеров не совпадает с исходным рейтингованием федеральных университетов, что вполне логично, так как при кластеризации вузы группируются по степени близости достигнутых величин частных показателей к некоторому среднему значению; 5) рейтингование федеральных университетов приобрело несколько иной контекст - разбиение их на университеты двух эшелонов с практически не пересекающимися линиями средних. Поэтому дальнейшие действия должны быть направлены на устранение разрыва между ними по первым пяти критериям. Далее проведем аналогичную процедуру для множества национальных исследовательских университетов (НИУ) по данным [2]. Итоги расчетов приведены в табл. 2 и на рис. 3. Рис. 2. Значения средних при формировании трех кластеров для федеральных университетов Таблица 2 Таблица распределения национальных исследовательских университетов по двум кластерам Национальный исследовательский университет № кластера (при двух кластерах) № кластера (при трех кластерах) № вуза в исходном рейтинге Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики 1 1 1 Национальный исследовательский Томский политехнический университет 1 1 4 Национальный исследовательский университет «МЭИ» 1 1 5 Национальный исследовательский университет «Высшая школа экономики» 1 1 6 Национальный исследовательский университет «МИЭТ» 1 1 7 Пермский государственный национальный исследовательский университет 1 2 9 Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ 1 2 10 167 Окончание табл. 2 Национальный исследовательский университет № кластера (при двух кластерах) № кластера (при трех кластерах) № вуза в исходном рейтинге Южно-Уральский государственный университет (национальный исследовательский университет) 1 3 11 Национальный исследовательский Томский государственный университет 2 3 2 Белгородский государственный национальный исследовательский университет 2 3 3 Московский авиационный институт (национальный исследовательский университет) 2 3 8 Рис. 4. Значения средних при формировании двух кластеров для университетов обоих типов По данным кластерного анализа методом средних национальных исследовательских университетов и его визуализации можно сказать следующее: 1) при разбиении множества НИУ на два кластера дифференциация недостаточно четкая. Фактически разрыв наблюдается только по критериям 3 и 6; 2) при формировании трех кластеров дифференциация еще более слабая. Фактически дифференциация прекратилась. В то же время различия по критерию 6 усилились; 3) рейтингование НИУ также можно рассматривать несколько в ином ключе - конкуренция по всем показателям очень высока. Преимущества отдельных НИУ наблюдаются всего по двум показателям. 168 В дальнейшем представляется вполне логичным предположить, что университеты, как федеральные, так и национальные исследовательские, в силу того что они находятся в едином образовательном пространстве, имеют определенные точки пересечения, а также свои сильные и слабые стороны, проявляющиеся в итоге процедуры кластеризация. Итоги кластеризации по двум классам приведены на рис. 4 и в табл. 3. Таблица 3 Распределение федеральных и национальных исследовательских университетов по двум кластерам Университет № кластера № вуза в исходном рейтинге Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики 1 1 Национальный исследовательский Томский политехнический университет 1 4 Национальный исследовательский университет «МЭИ» 1 5 Национальный исследовательский университет «Высшая школа экономики» 1 6 Пермский государственный национальный исследовательский университет 1 9 Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ 1 10 Южно-Уральский государственный университет (национальный исследовательский университет) 1 11 Северный (Арктический) федеральный университет имени М.В. Ломоносова 1 12 Сибирский федеральный университет 1 13 Балтийский федеральный университет имени Иммануила Канта 1 14 Уральский федеральный университет имени первого Президента России Б.Н. Ельцина 1 15 Казанский (Приволжский) федеральный университет 1 16 Северо-Кавказский федеральный университет 1 17 Национальный исследовательский Томский государственный университет 2 3 Белгородский государственный национальный исследовательский университет 2 7 Национальный исследовательский университет «МИЭТ» 2 8 Кроме того, отметим, что кластеризация по трем классам четкой дифференциации подмножеств не дала. По данным кластерного анализа совместного множества федеральных и национальных исследовательских университетов по методу средних и его визуализации можно отметить следующее: 1) федеральные и национальные исследовательские университеты не получили четкого разделения по частным критериям; 2) при проведении кластеризации на едином множестве университетов наблюдалась картина дифференциации лишь по уровням значений отдельных критериев, не коррелирующих со статусом вуза. Данное обстоятельство, на наш взгляд, указывает на успешность функционирования в сфере ЭО университетов обоих типов; 3) наполнение кластеров в процентном соотношении, особенно при разбиении общей исходной совокупности вузов на два кластера (такое разделение обладает наибольшей дифференциацией), указывает, что федеральные университеты полностью входят в один кластер, т. е. являются в данном контексте достаточно устойчивым множеством. Заключение С точки зрения эффективности работы с вузами различных типов в направлении совершенствования электронного обучения представляется рациональным проведение процедуры кластеризации, т.е. дифференциации на вузы, однородные по структуре достижений, по различным критериям. Подобная дифференциация позволит, на наш взгляд, выделить и в дальнейшем распространить лучшие практики в тех аспектах реализации электронного образования, которые оценивались именно выделенными частными критериями. Данный момент тем более важен, чем большее число вузов будет участвовать в процедуре рейтингования и чем более детально и всесторонне будет оцениваться их деятельность в сфере образования. Стандартные процедуры построения рейтингов в среднем, на наш взгляд, не позволяют выявлять как проблемные, так и прорывные моменты в реализации современного процесса обучения, в особенности такой инновационной его части, как электронное обучение. Присущее данным процедурам нивелирование, а по сути, искусственное утрачивание большей части данных, характеризующих индивидуальные особенности исследуемых объектов, не позволяет провести их анализ с целью выработки индивидуальных практических корректирующих воздействий на них. В рассматриваемом же случае большие массивы данных требуют отличной от существующих эффективной методики выявления как однородности, так и различий в функционировании вузов, что, на наш взгляд, и реализуется предложенной методикой. Кроме того, отметим, что сама процедура кластеризации позволяет анализировать совершенно различные аспекты обучения, характеризующиеся значительными объемами накопленной информации, что позволяет утверждать, что данная методика носит универсальный характер. В то же время, при наличии возможности обработки подобных данных различными процедурами кластеризации или же применимости допустимой вариативности параметров процедуры, необходимо производить сравнение собранных данных для объективной оценки адекватности получаемых результатов.

Ключевые слова

электронное обучение, кластерный анализ, обобщенный критерий, частные критерии, кластеры, рейтинг, e-learning, monitoring, cluster analysis, generalized criterion, partial criteria, clusters, ranking

Авторы

ФИООрганизацияДополнительноE-mail
Вайндорф-Сысоева Марина ЕфимовнаМосковский педагогический государственный университет канд. пед. наук, профессор кафедры технологии и профессионального обученияmageva@yandex.ru
Фаткуллин Николай ЮрьевичУфимский государственный нефтяной технический университет канд. экон. наук, зав. кафедрой математикиnick_idpo@mail.ru
Шамшович Валентина ФедоровнаУфимский государственный нефтяной технический университет канд. экон. наук, доцент кафедры математикиshamshovich@mail.ru
Глебов Сергей ГеннадиевичУфимский государственный нефтяной технический университет канд. физ.-мат. наук, доцент кафедры математикиglebskie@gmail.com
Всего: 4

Ссылки

Можаева Г.В. Электронное обучение в вузе: современные тенденции развития // Гуманитарная информатика. 2013. № 3. С. 126-138.
Мочалов С.П., Малинов М.Б., Третьяков В.С. Анализ результатов пилотного мониторинга текущего уровня развития электронного обучения в ведущих вузах России. URL: https://ido.tsu.ru/files/sibforum/tretyakov.pdf (дата обращения 12.09.2018).
Дроздова С.О., Пахомова Е.А. Применение кластерного анализа для оценки качества образования университета Дубна // Устойчивое развитие : наука и практика : междунар. электрон. журнал. 2014. Вып. 1 (12). С. 15.
Классификация и кластер / под ред. Дж. Вэн Райзина. М. : Мир, 1980. 389 с.
Xu R., Wunsch Ii D.C. Clustering. Wiley And Sons, 2009.
Zhao Y., Karypis G., Fayyad U. Hierarchical clustering algorithms for document datasets // Data mining and knowledge discovery. 2005. № 10 (2). P. 141-168.
Дьячук А.А. Математические методы в психологических и педагогических исследованиях : учеб. пособие. Красноярск : Изд-во Краснояр. гос. пед. ун-та им. В.П. Астафьева, 2013. 347 с.
 Совершенствование процедуры рейтингования вузов по уровню развития электронного обучения | Вестн. Том. гос. ун-та. 2018. № 437. DOI: 0.17223/15617793/437/24

Совершенствование процедуры рейтингования вузов по уровню развития электронного обучения | Вестн. Том. гос. ун-та. 2018. № 437. DOI: 0.17223/15617793/437/24