Diagnostics of Professional Deficits and Competencies of General Education Teachers: Cluster Analysis.pdf Введение Ежедневно в системе образования формируются огромные потоки информационных данных, касающихся образовательного процесса: успеваемость/ неуспеваемость, посещаемость и вовлеченность обучающихся. Часть информации связана с работой педагогов: квалификация и аттестация, результаты внутришкольных, региональных, федеральных мониторингов. Большие данные (Big Data) - большие массивы данных. Они позволяют учесть объем, разнообразие, скорость, вариативность поступающей информации. Такой подход требует использования технологии масштабирования для эффективного хранения, обработки, управления и анализа [1]. Технологический прогресс предоставляет новые возможности для анализа больших данных и применения результатов этого анализа для решения актуального круга задач: от управления системой образования до автоматического составления расписания. Ресурсы использования больших данных (Bid Data) в сфере образования перспективны, но данная тенденция только начинает формироваться. В научнопедагогическом сообществе поднимаются вопросы о применении результатов анализа больших данных в сфере образования. Ученые Е. В. Бабенина и О. М. Елкин рассматривают возможность применения технологии нейросети в части управления образовательным процессом [2], В.В. Утёмов и П.М. Горев описывают технологию больших данных как средство развития образовательных систем [3], Б. А. Кондратенко, А. Б. Кондратенко в статье «Перспективы использования больших данных в современном образовании» конкретизируют перспективы использования анализа больших данных среди которых: определение способностей, формирование индивидуальных маршрутов для обучающихся [4]. Для анализа, сегментации и моделирования больших данных применяются алгоритмы машинного обучения. Именно они позволяют интерпретировать массивы данных для составления прогнозов (задачи регрессии), получения категориального ответа (задачи классификации), распределения данных на группы по заданному количеству признаков (задачи кластеризации), уменьшения размерности данных и определения аномалий. Авторы статьи используют алгоритмы машинного обучения на больших данных для диагностики профессиональных дефицитов педагогов. Наше исследование рассматривает новую перспективу применения технологий обработки больших данных, которая связана с возможностью оценки профессиональных компетенций педагога через результаты его учеников и созданием предпосылок для устранения профессиональных дефицитов педагогов путём внедрения образовательных программ. Основная задача Национального проекта «Образование» - обеспечение глобальной конкурентоспособности российского образования и вхождение Российской Федерации в число 10 ведущих стран мира по качеству общего образования [5]. По результатам исследований PISA, PIRLS и TIMSS Российская Федерация занимает 14-е место в мировом рейтинге [6]. В отчете Федерального института оценки качества образования (ФИОКО), посвященном интерпретации данных исследования «Оценка по модели PISA-2020», акцентируется внимание на учителе как на определяющем факторе достижения качественных результатов обучающимися: «.качество работы учителя обусловливает качество образовательных результатов школьников. Создание условий для развития компетенций педагогов и качественного преподавания - важнейшая управленческая задача системы образования» [7]. Результаты исследований компетенций и контекста работы российских учителей указывают на слабое знание, владение и применение учителями современных педагогических технологий, приемов работы с учащимися с рисками образовательной неуспешности и преобладание традиционных урочных форм, а также на слабо развитые предметные компетенции [8]. В работе [9] повышение предметной и методической компетентности педагогов выделяется как основное направление для дальнейшей деятельности по повышению качества общего образования. Основываясь на анализе возможностей различных мониторингов качества образования и взаимосвязи их результатов с уровнем профессионализма педагогов, исследователи сделали вывод о том, что существует потребность в создании технологии оценки уровня сформированно-сти профессиональных компетенций педагогов для выявления и дальнейшего устранения их профессиональных дефицитов. На данный момент существуют различные подходы к диагностике профессионализма педагога. Виды диагностики можно разделить по способу взаимодействия: - аттестация педагогических работников образовательных организаций (ОО) [10], национальная система профессионального роста педагогических работников РФ, включая национальную систему учительского роста [11]; - внешняя экспертная диагностика. Инструменты: карта комплексной диагностики, алгоритм проведения процедуры диагностики, ключевой этап анализ результатов, обеспечение объективности интерпретации результатов диагностики; - внутришкольная оценка. Оценка производится на диагностической основе, цель: конструктивный поиск причин недостатков и путей их исправления; - самоанализ деятельности и компетенций педагога. Вышеперечисленные методы имеют ряд достоинств. Они позволяют произвести экспертную оценку и выявление предметных и методических дефицитов, признание результатов оценки профессиональным сообществом и работодателем. Тем не менее существует противоречие между потребностью оценки профессионализма педагога во взаимосвязи с результатами его учеников и отсутствием технологии, позволяющей это реализовать. Исследование направлено на решение проблемы определения результативности деятельности учителя по итогам оценочных процедур его учеников. Целью исследования является разработка и апробация технологии, позволяющей выполнить анализ результатов оценочных процедур школьников и установить связи с уровнем профессионализма педагогов для планирования дальнейшей работы по устранению профессиональных дефицитов и развитию компетенций. В основу технологии оценки профессионализма и уровня компетенций педагога был положен кластерный подход. Анализ имеющихся научных трудов показал, что кластерный подход в образовании реализуется с целью разделения образовательных организаций по характерным и/или основным направлениям деятельности с целью повышения эффективности каждого одиночного элемента и административного управления [12-14]. Методы кластеризации, благодаря их возможностям классификации и стандартизации данных, широко применяются зарубежными специалистами в оценке качества образования. В частности, через кластерный подход можно проанализировать взаимосвязь между полом обучающихся и их мотивацией работы в групповом проекте [15] или оценить уровень сформи-рованности у обучающихся той или иной компетенции [16]. Эффективность процесса обучения во многом зависит от уровня компетенций педагогов. Кластерный подход позволяет автоматизировать и сделать более объективной экспертную систему оценки компетентности педагогов [17, 18]. В процессе разработки и реализации технологии был применен кластерный анализ данных для создания групп Томских общеобразовательных организаций на основе анализа результатов учеников с применением методов машинного обучения (machine learning): алгоритм кластеризации к-средних (k-means) и иерархическая кластеризации. В основу исследования было положено предположение о том, что применение кластерного анализа позволит выявить дефициты и наметить содержательные линии по улучшению образовательных результатов школьников через работу с педагогическими коллективами образовательных организаций Томской области. Алгоритм реализации исследования Для работы с большими данными используются алгоритмы машинного обучения, если же говорить об обобщенных типах задач машинного обучения, то можно выделить следующие, самые распространенные: регрессия; классификация; кластеризация [19]. Рассмотрим постановку этих задач: Задача регрессии - приближение неизвестной целевой зависимости на некотором множестве данных [19]. Предполагается, что существует зависимость объясняемой переменной от другой или других переменных, алгоритмы регрессии могут прогнозировать вероятность наступления определенного события или предсказывать значения зависимой переменной по значениям независимой или независимых переменных. Задача классификации - распределение объектов по заданному множеству групп (классов) [19]. Исходя из классов объектов подмножества (конечное множество объектов), алгоритм присваивает классовую принадлежность любого объекта из этого множества. Задача кластеризации - разбиение некоторого множества исследуемых объектов и признаков на однородные и непересекающиеся группы, или кластеры [20]. Учитывая цель данного исследования для реализации алгоритма технологии оценки профессионализма и уровня компетенций педагогов на основе анализа результатов учеников были выбраны методы кластерного анализа. Методы кластеризации можно разделить на две большие группы: иерархические и неиерархические. Неиерархические алгоритмы позволяют получить фиксированное разбиение данных, а иерархические - систему вложенных разбиений, соответствующих различным уровням иерархии [21]. Методы иерархической кластеризации основываются на двух идеях: агломерации (AGNES, Agglomerative Nesting), т.е. последовательного объединения индивидуальных объектов или их групп во все более крупные подмножества, или обратном по смыслу процессе разбиения (DIANA, Divise Analysis), который начинается с корня и на каждом шаге делит образующие группы по степени их гетерогенности. В обоих случаях результат работы алгоритма представляет собой древовидную структуру, или дендрограмму [22]. Метод кластеризации к-средних (k-means) относится к неиерархическим алгоритмам. Основной идеей неиерархических алгоритмов кластеризации данных является минимизация расстояний между объектами в кластерах. Это происходит до тех пор, пока минимизирование расстояния между объектами становится невозможным [23]. Алгоритм реализации технологии оценки профессионализма и уровня компетенций педагогов на основе анализа результатов учеников представлен на рис. 1. 1. Формирование Dataseta для исследования: - подбор ОО: - выбор оценочной процедуры; - выбор временного отрезка сдачи оценочной процедуры: - выбор иредмега, - формирование общей таблицы данных. 1Г -----------------------------------------Ф--------------------------- 7. Диагностика образовательного процесса в части дефицитов, выявленных при анализе Рис. 1. Алгоритм реализации технологии оценки профессионализма и уровня компетенций педагогов на основе анализа результатов учеников Данные для исследования В исследовании для первичной кластеризации были взяты образовательные результаты национального единого государственного экзамена (ЕГЭ) учеников Томской области по предметам: русский язык, профильная математика, физика и обществознание (с 2015 по 2019 г.) (табл. 1). Результаты ЕГЭ рассматриваются с 2015 г. по причине разделения экзамена по математике на базовый и профильный уровни. Базовый уровень сдается выпускниками, которые не планируют продолжать обучение в высших учебных заведениях или для поступления им не требуется предмет «математика». Сдача экзамена по профильной математике необходим выпускникам, которые планируют продолжать обучение в высшем учебном заведении по специальностям, для поступления на которые требуется сдача экзамена по математике. Обезличенные результаты одиннадцатиклассников с разбиением по школам были занесены в таблицу, выведено среднее значение по каждому из предметов для каждой школы, далее к этим данным были применены два алгоритма кластеризации: к-средних и алгоритм иерархической кластеризации (табл. 2). Т а б л и ц а 1 Количество образовательных организаций, участвующих в ЕГЭ с 2015-2019 гг. по предметам Год Русский язык Профильная математика Физика Обществознание 2015 223 215 163 197 2016 220 212 170 190 2017 220 204 161 197 2018 222 214 173 201 2019 226 198 150 197 Т а б л и ц а 2 Вид таблицы для реализации алгоритмов кластеризации Год, предмет Закодированный номер ОО 2015 ru 2015 math 2015 fi 2019 ob П1 mean scoreru mean SCOremath mean SCOrefi mean SCOreOb Пт mean_ scoreru mean_ SCOremath mean_ SCOrefi mean_ scoreob Результаты исследования Алгоритмы кластеризации были реализованы с помощью языка программирования Python. Количество кластеров было выбрано методом подбора, n = 15. Задача применения алгоритмов кластеризации в нашем исследовании направлена не столько на деление образовательных организаций на сильные и слабые, сколько на выявление связей между образовательными организациями на основе результатов учеников за пять лет по нескольким предметам. Результаты работы по кластеризации представлены в табл. 3, 4. Т а б л и ц а 3 Результаты работы алгоритма «Иерархическая кластеризация» № кластера Количество ОО 1 4 2 2 3 1 4 11 5 3 6 168 7 8 8 1 9 12 10 3 11 13 12 1 13 2 14 6 15 1 Т а б л и ц а 4 Результаты работы алгоритма «Метод к-средних (k-means)» № кластера Количество ОО 1 83 2 5 3 6 4 15 5 12 6 10 7 10 8 7 9 10 10 14 11 4 12 3 13 23 14 5 15 29 По результатам применения кластеризации были сделаны промежуточные выводы: Результаты реализации алгоритма иерархической кластеризации в дальнейшей работе не рассматриваются, так как кластеры, сформировавшиеся после первой итерации, неравномерны (количество образовательных организаций варьируется от 1 до 168) и не валидны для дальнейшего исследования. Результаты, полученные после применения метода к-средних, являются валидными и применимы для дальнейшего исследования. Количество образовательных организаций в кластерах варьируется от 3 до 29, а также сформировался большой кластер 83 образовательные организации (табл. 4). На следующем этапе исследования рассматривались результаты учеников внутри каждого кластера. Эта работа позволила выявить группы «сложных» заданий по предметам «русский язык» и «профильная математика». В данной работе под «сложными» заданиями понимаются задания, которые не смогли решить 30% и более обучающихся. «Сложные» задания были сопоставлены со спецификаций контрольных измерительных материалов ЕГЭ и представлены в табл. 5. Спецификации контрольных измерительных материалов для проведения в 2015-2019 гг. единого государственного экзамена по русскому языку и математике (профильный уровень) подготовлены и утверждены Федеральным государственным бюджетным учреждением «Федеральный институт педагогических измерений». Выводы Работа по сопоставлению внутри кластеров позволила выделить темы, вызывающие наибольшее затруднение у обучающихся по предметам «Русский язык», «Профильная математика» и, следовательно, определить дефициты в знаниях и умениях учеников. Произвести оценку «сложных» заданий по предметам «Физика» и «Обществознание» в рамках данного исследования не представляется возможным из-за малого количества учеников, выбравших эти предметы для сдачи. Темы проверяемых элементов содержания, вызвавших наибольшие затруднения у обучающихся по русскому языку и профильной математике* № кластера Русский язык Профильная математика 1 Текст как речевое произведение. Смысловая и композиционная целостность текста Уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уровень). Уметь строить и исследовать простейшие математические модели (базовый уровень). Уметь выполнять действия с функциями. Уметь решать уравнения и неравенства (повышенный уровень) 2 Правописание корней. Правописание НЕ и НИ. Правописание -Н- и -НН- в различных частях речи. Знаки препинания в предложениях с обособленными членами. Знаки препинания в сложноподчиненном предложении. Знаки препинания в сложном предложении с разными видами связи Низкое качество результатов по всем темам, кроме: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уров ень) 3 Текст как речевое произведение. Смысловая и композиционная целостность текста Низкое качество результатов по всем темам, кроме: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уров ень), уметь выполнять действия с геометрическими фигурами, координатами и векторами (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень) № кластера Русский язык Профильная математика 4 Морфологические нормы. Синтаксические нормы. Нормы согласования. Нормы управления. Знаки препинания в простом осложненном предложении (с однородными членами). Пунктуация в сложносочиненном предложении и простом предложении с однородными членами. Знаки препинания в сложном предложении с разными видами связи. Текст как речевое произведение. Смысловая и композиционная целостность текста Низкое качество результатов по всем темам, кроме: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень) 5 Средства связи предложений в тексте. Орфографические нормы (постановка ударения). Синтаксические нормы. Нормы согласования. Нормы управления. Слитное, дефисное, раздельное написание слов. Знаки препинания в простом осложненном предложении (с однородными членами). Знаки препинания в сложном предложении с разными видами связи. Текст как речевое произведение. Смысловая и композиционная целостность текста. Функционально-смысловые типы речи. Лексическое значение слова. Синонимы. Антонимы. Омонимы. Фразеологические обороты. Группы слов по происхождению и употреблению Низкое качество результатов по всем темам, кроме: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень) 6 Слитное, дефисное, раздельное написание слов. Знаки препинания в предложениях с обособленными членами (определениями, обстоятельствами, приложениями, дополнениями). Текст как речевое произведение. Смысловая и композиционная целостность текста. Текст как речевое произведение. Смысловая и композиционная целостность текста. Лексическое значение слова. Синонимы. Антонимы. Омонимы. Фразеологические обороты. Группы слов по происхождению и употреблению Низкое качество результатов по всем темам, кроме: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень), уметь выполнять действия с геометрическими фигурами, координатами и векторами (продвинутый уровень) 7 Правописание суффиксов различных частей речи (кроме Н и НН). Знаки препинания в предложениях с обособленными членами (определениями, обстоятельствами, приложениями, дополнениями). Знаки препинания в сложноподчиненном предложении. Текст как речевое произведение. Смысловая и композиционная целостность текста. Лексическое значение слова. Синонимы. Антонимы. Омонимы. Фразеологические обороты. Речь. Языковые средства выразительности Уметь выполнять действия с геометрическими фигурами, координатами и векторами (базовый уровень). Уметь выполнять действия с функциями (базовый уровень). Уметь выполнять вычисления и преобразования (повышенный уровень). Уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (повышенный уровень) 8 Знаки препинания в сложноподчиненном предложении. Знаки препинания в предложениях с обособленными членами (определениями, обстоятельствами, приложениями, дополнениями). Текст как речевое произведение. Смысловая и композиционная целостность текста. Средства связи предложений в тексте Низкое качество результатов по всем темам, кроме: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень). Уметь выполнять действия с функциями (базовый уровень) 9 Правописание личных окончаний глаголов и суффиксов причастий Низкое качество результатов по всем темам, кроме: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень), уметь выполнять действия с геометрическими фигурами, координатами и векторами (продвинутый уровень), уметь выполнять действия с функциями (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень) 10 Орфографические нормы (постановка ударения). Синтаксические нормы. Нормы согласования. Нормы управления. Слитное дефисное, раздельное написание слов. Знаки препинания в сложноподчиненном предложении. Знаки препинания в предложениях с обособленными членами (определениями, обстоятельствами, приложениями, дополнениями). Речь. Языковые средства выразительности Уметь выполнять вычисления и преобразования (повышенный уровень), уметь выполнять действия с функциями (повышенный уровень), уметь решать уравнения и неравенства (повышенный уровень) 11 Слитное, дефисное, раздельное написание слов. Знаки препинания в предложениях со словами и конструкциями, грамматически не связанными членами предложения. Текст как речевое произведение. Смысловая и композиционная целостность текста. Лексическое значение слова. Синонимы. Антонимы. Омонимы. Фразеологические обороты. Группы слов по происхождению и употреблению Низкое качество результатов по всем темам, кроме: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень) 12 Правописание личных окончаний глаголов и суффиксов причастий. Знаки препинания в простом осложненном предложении (с однородными членами). Пунктуация в сложносочиненном предложении и простом предложении с однородными членами Уметь выполнять действия с геометрическими фигурами, координатами и векторами (базовый уровень), уметь решать уравнения и неравенства (базовый уровень), уметь выполнять действия с геометрическими фигурами, координатами и векторами (повышенный уровень) 13 Средства связи предложений в тексте. Морфологические нормы (образование форм слова). Средства связи предложений в тексте. Знаки препинания в предложениях с обособленными членами (определениями, обстоятельствами, приложениями, дополнениями) Уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (повышенный уровень). Уметь решать уравнения и неравенства (высокий уровень). Уметь строить и исследовать простейшие математические модели (высокий уровень) 14 Знаки препинания в сложном предложении с разными видами связи. Текст как речевое произведение. Смысловая и композиционная целостность текста Низкое качество результатов по всем темам, кроме: уметь использовать приобретенные знания и умения в практической деятельности и повседневной жизни (базовый уровень), уметь строить и исследовать простейшие математические модели (базовый уровень) № кластера Русский язык Профильная математика 15 Текст как речевое произведение. Смысловая и композиционная целостность текста. Уметь строить и исследовать простейшие математические модели (профильный уровень), уметь решать уравнения и неравенства (высокий уровень). * Спецификации контрольных измерительных материалов для проведения в 2015-2019 гг. единого государственного экзамена по русскому языку и математике (профильный уровень) размещены в открытом доступе на сайте https://fipi.ru/ege/demoversii-specifikacii-kodifikatory

Скачать электронную версию публикации