Опыт НГТУ в области практического мониторинга качества систем электронной поддержки учебной деятельности | Открытое и дистанционное образование. 2013. № 3 (51).

Опыт НГТУ в области практического мониторинга качества систем электронной поддержки учебной деятельности

Рассматриваются некоторые результаты мониторинга электронного обучения, практически реализуемого в Новосибирском государственном техническом университете (НГТУ). Приведены основные показатели и характеристики электронного обучения и систем электронной поддержки, используемых во всех сферах учебной деятельности вуза. Основное внимание уделено проблеме организации и проведения мониторинга качества электронного и дистанционного обучения.

THE NSTU EXPERIENCE IN THE FIELD OF PRACTICAL MONITORING OF THE QUALITY OF THE ELECTRONIC SUPPORT OF EDUCATIONAL ACTIVITY.pdf Качество высшего образования сегодня – тема большинства дискуссий образовательных сообществ России и за рубежом. Обсуждаемые вопросы качества касаются не только традиционного обучения, но и не менее актуальны применительно к электронному и дистанционному обучению (ЭО, ДО). Многочисленные исследования в области ЭО и ДО концентрируются на вопросах разработки нормативной базы; анализа качества ресурсов, процессов и результатов; проектирования электронных учебно-методических комплексов; разработки новых и адаптации к особенностям ЭО известных образовательных технологий; проектирования систем технической, программной и технологической сред. Для организации и последующего поддержания в актуальном состоянии электронного обучения важно обеспечить качественное функционирование всех подсистем поддержки ЭО, которые позволят реализовать образовательный процесс. К таким подсистемам следует отнести: 1. Подсистему нормативно-методического обеспечения, обеспечивающую: – разработку внутренних нормативных документов вуза, регламентирующих набор обучающихся, первичную диагностику их готовности к работе в системе ЭО и ДО, документальное сопровождение, требования к компетенциям преподавателей и специалистов систем поддержки и др.; – педагогическое проектирование качественных учебно-методических комплексов (ЭУМК), удовлетворяющих федеральным и региональным требованиям; – планирование и сопровождение основных и вспомогательных процессов ЭО и ДО и др.); – создание методик, планирование и проведение мониторинга и оценивания качества условий (программ, ресурсов, в том числе кадровых, учебнои нормативно-методических), процессов, в том числе учебного и административно-управленческого, и всех других компонентов. 2. Подсистему учебно-методического обеспечения, отвечающую требованиям принятой в вузе нормативной базы и регламентирующую разработку структуры, сценариев и содержания ЭУМК, включающих основные виды учебных изданий в электронном виде. 3. Подсистему кадрового обеспечения и педагогического сопровождения, занимающуюся подбором и подготовкой (обучением и повышением квалификации) основных участников учебного процесса с электронной поддержкой: преподавателей, тьюторов, администраторов, экспертов по качеству, сотрудников деканата, специалистов по развитию персонала системы ЭО, сотрудников программно-технического сопровождения и др. 4. Подсистему программно-технического сопровождения, основной функцией которой является организация технического обеспечения процесса обучения, программно-техническая поддержка образовательного портала учебного заведения, программная поддержка ЭО, удаленного тестирования, консультирования и др. 5. Подсистему организационно-административного обеспечения, отвечающую за организацию и документальное сопровождение учебного процесса: организацию работы с абитуриентами и в целом приемной комиссии, оформление контрактов и ведение финансовых операций, оформление и выдачу студенческих документов, справок, выписок и др. 6. Подсистему мониторинга и оценивания качества, ответственную за разработку методик мониторинга, оценивания, контроля и управления качеством различных компонентов учебного процесса, его условий, процессов, результатов и обеспечивающих подсистем. В настоящее время в НГТУ электронное обучение и системы электронной поддержки активно внедряются во все сферы учебной и управленческой деятельности. Для школьников организованы дистанционные курсы подготовки к поступлению в вуз и подготовительные курсы для сдачи ЕГЭ с применением интернет-тренажеров по основным дисциплинам: физике, математике, русскому языку. Факультет повышения квалификации (ФПК) НГТУ использует ЭУМК программ повышения квалификации и элементы технологий ЭО и ДО, в частности, для выполнения практических заданий, подготовки учебных итоговых проектов. Такая, можно сказать, комбинированная форма повышения квалификации, как показал опыт, чрезвычайно актуальна и востребована преподавателями. В вузе активно используется, расширяется и постоянно совершенствуется система информатизации, поддерживающая все основные процессы (планирования и аналитической отчетности, управления, финансовой, учебной и научной деятельности, системы управления качеством и др.). В настоящей статье остановимся только на процессах, обеспечивающих учебную деятельность. Значительная часть преподавателей вуза, как технических, так и гуманитарных кафедр, уже не мыслят свою практическую педагогическую деятельность без ЭО и его элементов, проектируют учебный процесс по дисциплине, используя собственные электронные учебно-методические ресурсы, технологии удаленного тестирования, консультирования, приема заданий и т.д. Преподаватели совершенствуют свои компетенции в области ЭО и ДО самостоятельно или повышая квалификацию в рамках предлагаемых НГТУ и другими ведущими вузами России программ в области ЭО. ЭО и ДО являются основной формой организации учебного процесса Института дистанционного обучения (ИДО) НГТУ с использованием электронной среды обучения (ЭСО) Diclass [1], разработанной и постоянно актуализируемой специалистами института. Основной функцией ЭСО является обеспечение взаимодействия основных участников учебного процесса – преподавателей, студентов, специалистов всех систем поддержки. В ЭСО DiClass преподавателям и студентам доступны: электронные учебно-методические комплексы (ЭУМК) по дисциплинам, лента новостей, журнал успеваемости, все виды занятий, в том числе семинары и консультации, возможность обмена с преподавателями выполненными работами и личными сообщениями. Для тьюторов (менеджеров учебного процесса) и экспертов по качеству доступны функции управления рабочими учебными планами и учебными группами, функции мониторинга различных составляющих учебного процесса. Объектами мониторинга могут быть любые компоненты и участники учебного процесса, а предметом мониторинга – их качество. Ресурсы ИДО используют преподаватели самых разных уровней, форм и технологий обучения: очного, дистанционного, комбинированного, довузовской подготовки, повышения квалификации, профессиональной переподготовки, консалтинга и пр. В настоящий момент в НГТУ функционирует и постоянно пополняется электронная библиотечная система (ЭБС). Разработано положение о внутривузовском электронном издании, утверждены методика мониторинга и процедура подготовки ЭУМК и отдельных видов электронных изданий к регистрации в Информрегистре РФ (г. Москва). Фонд ЭБС НГТУ представлен полнотекстовыми электронными образовательными ресурсами (ЭОР), объединяющими: электронные версии учебных ресурсов, изданных в Издательстве НГТУ: учебные и методические пособия (начиная с 1999 г. издания); учебники (начиная с 2004 г. издания); ЭУМК в системе управления электронными курсами DiDesk (как подсистемы Diclass) ИДО (за 2010–2011 гг.), включающие конспекты и слайд-конспекты лекций, методические пособия, контролирующие материалы в разных форматах, рекомендации по изучению дисциплин и др.; монографии; неофициальные ресурсы, сборники задач и упражнений и другие типы учебных изданий. На рис. 1. представлена количественная характеристика разных типов ЭОР, размещенных в ЭБС НГТУ. Рис. 1. Количественная характеристика ЭОР в ЭБС НГТУ На основе приведенной статистики можно сделать вывод не только о достаточности, но и о высокой степени полноты и разнообразии ресурсов НГТУ для обеспечения учебного процесса с использованием ЭОи ДО-технологий. Структурными подразделениями вуза, хранителями ЭОР разных типов, являются издательство, научная библиотека и ИДО. Однако, при всем многообразии и многочисленности ЭОР у специалистов, работающих в системе ЭО НГТУ, преподавателей и студентов, как основных потребителей образовательной услуги, реально ощущается неудовлетворенность качеством и некоторых ЭУМК, и систем поддержки в целом. Такая ситуация поставила вопрос о необходимости разработки универсальной методики мониторинга, позволяющей оценивать качество различных компонентов ЭО и ДО, выявлять проблемы и отклонения от норм качества, делать содержательные выводы и рекомендации по устранению несоответствий и их последующему предотвращению. При этом субъектами мониторинга должны стать потребители образовательных услуг: студенты, преподаватели, специалисты ИДО, издательства, библиотеки, деканатов, учебного отдела – всех, кто использует ЭОР в обучении и управлении. В НГТУ разрабатывается и готовится к сертификации система менеджмента качества, где одной из документированных процедур является процедура СМК-ДП-8.2.1 «Мониторинг удовлетворенности потребителей и персонала». Данная документированная процедура предназначена для управления процессом мониторинга удовлетворенности потребителей и персонала путем определения запросов потребителей, запросов персонала и измерения их удовлетворенности [2]. Основу процедуры должны составлять собственно методики мониторинга с комплектом измерительного инструментария: анкет, опросных листов, тестов и др. В НГТУ разработана и введена в практику инвариантная методика мониторинга и оценивания качества [3]. Методика апробирована при проведении мониторинга удовлетворенности заинтересованных сторон ЭО, качеством ЭУМК, программами повышения квалификации среднего звена управленческих кадров вузов и др. [4, 5]. Методика инвариантна к объекту и предмету мониторинга и имеет следующую структуру: – наименование методики и подразделения, на базе которого проводится мониторинг; – рабочая группа по мониторингу с распределением ролей; – цели мониторинга: общая и конкретная (возможна иерархия целей); – задачи и мероприятия мониторинга; – риски (неуправляемые влияния внешней среды); – сроки мониторинга и его локализация (с привязкой к задачам); – статус мониторинга (первичный, коррекционный), характеристика предыдущего этапа и принятые решения (для коррекционного этапа); – объект и предмет мониторинга (изменения в объекте и предмете мониторинга для коррекционного этапа); – показатели (нормы) качества для объекта мониторинга; – целевые группы опрашиваемых (особенности, требования к составу и количеству, профессиональные и социальные характеристики, ограничения); – используемые методы мониторинга, сбора, обработки и хранения информации; – инструменты мониторинга (анкеты, опросные листы, тесты, таблицы, программное обеспечение, форматы представления данных, оборудование и его характеристики); – ресурсы (по задачам, мероприятиям), план-график и бюджет мониторинга; – отчет (требования к структуре, формату, уровню детализации, формам представления информации, рекомендациям, перечень должностных лиц для передачи информации). В предлагаемой статье приведем некоторые результаты мониторинга, практически реализуемого в НГТУ в области ЭО и ДО. Сотрудники деканата ИДО и эксперты по качеству обратили внимание, что студенты в процессе обучения задают много уточняющих вопросов. Поэтому было принято решение провести анализ вопросов, запрашивающих дополнительные сведения, требующих уточнений и разъяснений, содержащих претензии к персоналу, преподавателям, тьюторам и системам поддержки. Систематизация таких вопросов, сообщений и претензий студентов, как правило, позволяет выявить недостатки в работе конкретных подсистем ЭО и специалистов, оценить качество ЭУМК, что, в свою очередь, позволяет косвенно определить источники проблем, выявить факторы, влияющие на качество ЭО, и сформировать выводы и рекомендации по совершенствованию. Цель эксперимента заключалась в систематизации наиболее типичных вопросов, сообщений и претензий студентов, поступающих участникам процесса обучения (преподавателям, тьюторам, специалистам технической поддержки и сотрудникам деканата), выявлении причин, порождающих вопросы, и определении проблемных подсистем поддержки ЭО с возможностью формирования рекомендаций для последующего устранения и предотвращения повторного появления проблем и улучшения качества их функционирования. Для исследования случайным образом отобрано 510 вопросов и сообщений студентов, присланных в ИДО НГТУ в 2010–2012 гг. Наиболее часто встречающиеся вопросы и сообщения обработаны и систематизированы по категориям проблем, замыкающимся на основные подсистемы электронной среды обучения, описанные выше. Результаты обработки представлены в таблице. Результаты обработки вопросов и сообщений студентов, обучающихся с использованием технологий ЭО в ИДО НГТУ Блоки вопросов и сообщений Причины, порождающие вопросы и сообщения Проблемная подсистема поддержки Количество и доля вопросов (%) 1. Уточнение правил и порядка изучения дисциплины и прохождения промежуточного и итогового контроля. Сообщения, связанные с правилами и порядком процесса коммуникации между студентом и преподавателем Недостаточный уровень компетенций преподавателей для выполнения функций педагогического проектирования ЭОР, организации и управления учебным процессом в электронной среде обучения Кадровой и педагогической 215 (42,2) 2. Уточнение правил и порядка проведения сессии, сообщения, связанные с оплатой обучения, графиком и условиями сдачи задолженностей Неудовлетворенность организацией обучения, документооборота (работа с ведомостями, расписанием занятий, консультаций и пр.) Организационно-административной 133 (26,1) 3. Уточнение процедуры проведения удаленного тестирования. Сообщения о технических сбоях в системе, неудобстве интерфейса и недостаточном наборе функций подсистем и системы в целом Неудовлетворенность студентов работой в электронной среде обучения (diclass) и в системе тестирования (ditest) в контексте конкретных используемых функций Программно-технической 90 (17,6) 4. Уточнение правил и порядка работы с ЭУМК. Вопросы, относящиеся к структуре, логичности и полноте ЭУМК, поиску необходимой информации (легкость ориентирования в ЭУМК, понятность, логичность, доступность функций и т.д.) Неудовлетворенность качеством, полнотой электронных учебно-методических материалов и методическими рекомендациями по использованию ЭУМК Учебно-методической, кадровой и педагогической 57 (11,2) Прочие вопросы 15(2,9%) Из анализа видно, что значительная часть проблем студентов, использующих технологию ЭО, относится к подсистеме кадровой и педагогической поддержки (215 вопросов, 1-й и частично другие блоки). Вопросы и сообщения здесь носят характер уточнения правил и порядка изучения дисциплины, регламента прохождения промежуточного и итогового контроля, условий получения зачетов по видам работ. Большое количество сообщений связано с правилами и технологией процесса коммуникации между студентом и преподавателем, оперативностью такого взаимодействия. Можно предположить, что преподаватели при проектировании ЭУМК не уделяют должного внимания организации эффективного управления удаленным обучением с использованием возможностей технологий ЭО или имеют недостаточные компетенции в данном вопросе. Второй по актуальности блок вопросов и проблем относится к подсистеме организационно-административной поддержки (113 вопросов): как правило, уточняются регламенты и графики различных учебных мероприятий, правила и условия обучения, требования и формы проведения текущего и итогового контроля, условия аттестации и своевременность её отражения в электронных журналах. Часть вопросов данного блока относится к оформлению документов: приказов, ведомостей, выписок и т.д. Проблемы первого типа также можно отнести к подсистеме кадровой и педагогической поддержки, а именно к недостаткам методических рекомендаций, руководств, путеводителей ЭУМК. Проблемы второго типа следует отнести к подсистеме нормативно-методической поддержки, несовершенству нормативной базы в части организации учебного процесса с электронной поддержкой и управления данным процессом, организации работы электронного деканата и специалистов деканата ИДО. Значительная часть вопросов и сообщений студентов указывает на проблемы подсистемы учебно-методической поддержки. К данному блоку вопросов и сообщений можно отнести уточнение правил и порядка работы с ЭУМК. Вместе с этим есть претензии к качеству и полноте ЭУМК (достаточность учебного материала, понятность, доступность, актуальность, новизна, логичность, удобство использования и др.). Использование ЭОР ЭБС НГТУ преподавателями самых разных уровней, форм и технологий обучения также оставляет актуальным вопрос о качестве электронных материалов в ЭБС. Причины данного блока вопросов можно также отнести к недостаточному уровню компетенций преподавателей в области педагогического проектирования ЭУМК и несовершенству нормативной базы университетского уровня, регламентирующей требования к структуре ЭУМК, его наполнению, наличию элементов управления и пр. 3-й и 4-й блоки вопросов и сообщений непосредственно относятся к подсистемам программно-технической и учебно-методической поддержки (соответственно 90 и 57 вопросов). К подсистеме программно-технической поддержки можно делегировать вопросы, связанные с удобством интерфейса, полнотой функций ЭСО, наличием технических сбоев ЭОС и электронной системой тестирования. Проведенный мониторинг качества функционирования ЭСО на основе анализа вопросов и претензий студентов, систематизация информации позволяют сделать следующие рекомендации и предложения по совершенствованию. 1. Провести мониторинг качества, структуры и содержания программ повышения квалификации для преподавателей и специалистов по вопросам проектирования ЭУМК, технологиям организации и управления учебным процессом в ЭСО, нормативной базы ЭО и ДО, мониторинга и норм качества ЭУМК. Пересмотреть имеющиеся программы, дополнить, модифицировать и ввести новые модули. Проанализировать методики повышения квалификации, требования к формам выпускных работ. Ввести в практику использование в повышении квалификации проблемно-проектной технологии обучения и обязательного мониторинга компетенций преподавателей до и после повышения квалификации, а также спустя некоторое время – 1-2 года. Такой мониторинг позволит оценивать эффективность мероприятий повышения квалификации, использование и совершенствование приобретенных компетенций. 2. Провести анализ внутривузовской нормативной базы в области разработки и создания ЭУМК, регламентирующей порядок проектирования, экспертизы, регистрации ЭУМК, структуры и необходимого состава. Выявить пробелы в нормативной базе, несовершенство уже принятых регламентов, сформировать план мероприятий по разработке, обсуждению и введению в действие разработанных документов. Особое внимание следует обратить на совершенствование нормативной базы в части организации и управления удаленным учебным процессом с электронной поддержкой. 3. По результатам настоящего мониторинга предстоит сформировать конкретные рекомендации по доработке отдельных модулей и функций ЭСО (Diclass) и электронной системы тестирования (Ditest). 4. Необходимы совершенствование подсистемы мониторинга, разработка нормативной базы в данном вопросе, подготовка экспертов по качеству ДО и ЭО. Введение понятия нормы качества и установление таких норм для разных компонентов образовательного процесса с электронной поддержкой. При подведении ежегодного рейтинга факультетов и кафедр НГТУ учитывать не только количество, но и качество ЭУМК и уровень их регистрации (в Информрегистре, как электронное издание вуза и пр.). Поддерживать установившуюся практику мониторинга и оценивания качества ЭУМК и ЭБС, подготовку ежегодного доклада на ученом совете вуза с содержательными выводами и рекомендациями по устранению и предупреждению повторного появления выявленных несоответствий. Приведенный в настоящей статье анализ результатов мониторинга удовлетворенности работой в ЭСО является первичным и свидетельствует о том, что для постоянного совершенствования ЭО и ДО в НГТУ необходимо решать вопрос системно, учитывая все заинтересованные стороны, все подсистемы, планировать мониторинговые мероприятия для условий, процессов и результатов. С этой точки зрения качественно работающая подсистема мониторинга, оценивания и менеджмента качества ЭСО позволит повысить качество работы всех взаимосвязанных подсистем, в целом всей системы электронного обучения и качество подготовки специалистов.

Ключевые слова

monitoring methodology, quality management, e-learning resources, quality monitoring, distance learning, e-learning, менеджмент качества, методика мониторинга, электронные образовательные ресурсы, мониторинг качества, электронное обучение, дистанционное обучение

Авторы

ФИООрганизацияДополнительноE-mail
Яцевич Татьяна АлександровнаНовосибирский государственный технический университетy_t_a@mail.ru
Никитина Надежда ШагабановнаНовосибирский государственный технический университетnnik@fpk.nstu.ru
Всего: 2

Ссылки

Никитина Н.Ш. Методика и практика мониторинга и оценивания качества электронных учебно-методических комплексов // Единая образовательная среда: направления и перспективы развития электронного и дистанционного обучения: матер. IХ Междунар. науч.-практ. кон
Никитина Н.Ш. Мониторинг качества подготовки специалистов в вузе // Стандарты и мониторинг в образовании / Н.Ш. Никитина, Н.В. Николаева (Н.В. Зазон). – Москва: Изд-во ЗАО «Русский журнал», 2009. – № 3 (66). – С. 18–23.
Никитина Н.Ш. Мониторинг и оценивание качества в образовании. – Ч. 1: Методика мониторинга: учеб. пособие / Н.Ш. Никитина, Н.В. Николаева (Н.В. Зазон). – Новосибирск: Изд-во НГТУ, 2008. – 32 c.
Андрюшкова О.В. Логистика организации электронного обучения в университете // Открытое и дистанционное образование. – Томск: Изд-во Том. ун-та, – 2011. – № 4 (44). – C. 5–10.
Документированная процедура СМК-ДП-8.2.1 «Мониторинг удовлетворенности потребителей и персонала» [Электронный ресурс]. – Режим доступа: https://ciu.nstu.ru/docushare/dsweb/Get/Document-331/ДП Мониторинг удовлетворения потребителей_27.03.09.pdf – Загл. с э
 Опыт НГТУ в области практического мониторинга качества систем электронной поддержки учебной деятельности | Открытое и дистанционное образование. 2013. № 3 (51).

Опыт НГТУ в области практического мониторинга качества систем электронной поддержки учебной деятельности | Открытое и дистанционное образование. 2013. № 3 (51).