ПОСТРОЕНИЕ И ИСПОЛЬЗОВАНИЕ ГЕНЕРАТОРОВ ТЕСТОВЫХ ЗАДАНИЙ В СИСТЕМАХ ДИСТАНЦИОННОГО ОБУЧЕНИЯ | Открытое и дистанционное образование. 2018. № 3(71). DOI: 10.17223/16095944/71/1

ПОСТРОЕНИЕ И ИСПОЛЬЗОВАНИЕ ГЕНЕРАТОРОВ ТЕСТОВЫХ ЗАДАНИЙ В СИСТЕМАХ ДИСТАНЦИОННОГО ОБУЧЕНИЯ

Рассматриваются вопросы организации получения тестовых заданий на основе программных генераторов. Описывается опыт разработки и применения таких генераторов в ТУСУРе. Показана обобщенная структура генератора, рассмотрены инструментальные системы построения генераторов и примеры их использования и применения.

DEVELOPMENT AND APPLICATION OF TEST ASSIGNMENT GENERATORS IN DISTANCE LEARNING SYSTEMS.pdf Введение Опыт организации учебного процесса в Томском государственном университете систем управления и радиоэлектроники (ТУСУР) по дистанционной технологии обучения показал, что ее важнейшей составляющей является система контроля знаний [1]. В конечном счете от качества системы контроля знаний зависит качество выпускаемых специалистов. На факультете дистанционного обучения (ФДО) ТУСУРа создана довольно развитая система контроля знаний, которая включает организацию промежуточного контроля различной формы: выполнение компьютерных контрольных работ, написание письменных работ, рефератов, отчетов, представляемых в электронной форме, а также проведение компьютерного экзамена в форме тестирования [2]. Анализ проведения экзаменационных сессий показал, что: 1) хакеры организуют атаки на систему проведения компьютерного тестирования; 2) для многих компьютерных экзаменов подготовлены шпаргалки; 3) шпаргалки и взломанные компьютерные экзамены размещаются на специальных сайтах. Вследствие этого была выработана стратегия улучшения системы контроля знаний [3]: 1) создание системы защиты от несанкционированного доступа; 2) организация защиты от шпаргалок; 3) организация работ по закрытию сайтов; 4) совершенствование системы проведения экзаменов и контрольных работ. Одним из возможных направлений решения указанных проблем является внедрение в практику дистанционного контроля генераторов тестовых заданий. Генераторы, с одной стороны, решают проблемы защиты от несанкционированного доступа, так как не имеют заранее заготовленных ответов, с другой стороны, практически каждый студент получает индивидуальное задание. Это решает проблему шпаргалки, потому что программа генерирует правильный ответ в процессе проведения опроса. Следовательно, вместо запоминания правильного ответа необходимо знать алгоритм решения. Было выявлено два основных направления исследований: 1. Моделирование деятельности преподавателя при приеме экзамена. Применение идей искусственного интеллекта для решения задачи синтеза вопросов. Построение интеллектуальной системы приема экзаменов. 2. Инженерный подход при построении генераторов, основанный на применении эвристических и комбинаторных алгоритмов генерации многовариантных тестовых заданий и вопросов. Первое направление является наиболее перспективным, так как при его осуществлении будет решена задача качественного приема компьютерного экзамена. Однако первые попытки решения натолкнулись на задачи, которые не имеют удовлетворительного решения на современном уровне развития искусственного интеллекта. Одна из таких задач - понимание текста на естественном языке. Отсюда невозможность решения задачи синтеза корректного вопроса. Результаты исследований в этом направлении могут привести к появлению интеллектуальных систем, помощников преподавателя при составлении тестовых вопросов. Второе направление связано с построением алгоритмов, которые генерируют многовариантные тестовые задания и вопросы. Например, в математической задаче можно менять различные входные параметры и тем самым получать множество однотипных задач. Кроме того, имеются определенные результаты в этой области, показывающие возможность использования таких алгоритмов. В процессе развития второго направление удалось: 1) разработать математические основы построения алгоритмов генерации тестовых заданий; 2) построить модели и алгоритмы генерации тестовых заданий; 3) разработать и внедрить оригинальную технологию создания генераторов; 4) разработать серию генераторов по различным дисциплинам и внедрить их в практику дистанционного обучения. 1. Математические основы построения алгоритмов генерации тестовых заданий При разработке генератора тестовых заданий необходимо предварительно оценить число возможных тестовых заданий, способы идентификации тестовых заданий, методы управления генерацией заданий, методы получения правильных ответов и оценки правильности ответов обучаемых. Кроме того, в процессе эксплуатации генератора заданий необходимо обеспечить процедуру апелляции, при которой студенту необходимо выдать правильное решение для данного сгенерированного задания. Оценка мощности генератора. Важной характеристикой генератора является его мощность, которая определяется как мощность множества генерируемых объектов. В общем случае для исследования мощности множества объектов используются методы теории перечислительной комбинаторики, однако часто грубая оценка мощности позволяет произвести обоснованный выбор для реализации рассматриваемого проекта генератора. Для принятия решения о разработке генератора необходимо оценить численность студентов, изучающих данную дисциплину, для того чтобы каждый студент получил индивидуальное задание. Отсюда следует, что генератор должен иметь мощность, большую, чем число студентов. Идентификация задания. При получении нового задания генератор должен сформировать некоторый объект (код, число), по которому однозначно можно было бы получить это задание вновь. Назовем этот объект идентификатором задания. Для генератора желательно иметь взаимно однозначное соответствие между идентификатором задания и сгенерированным заданием. Одним из простых решений является хранение выданных заданий и их идентификаторов в некоторой таблице (базе данных). Другим простым решением в случае использования датчика случайных чисел в генераторе является использование начального значения датчика случайных чисел в качестве идентификатора задания. Однако наиболее перспективным является использование алгоритмов комбинаторной генерации, которые обеспечивают генерацию тестового задания по заданному номеру. Алгоритмы комбинаторной генерации. Подавляющее большинство тестовых заданий можно сформулировать как комбинаторные задачи. Например, задачу на упорядочение можно рассматривать как некоторую перестановку блоков (элементов), задачу выбора некоторого подмножества из множества или множеств можно рассматривать как задачу на сочетания, разбиения, разложения или композиции и т.д. Кроме того, много заданий можно сформулировать в виде некоторых графов или деревьев [4]. Алгоритмы комбинаторной генерации предназначены для получения элементов комбинаторных множеств и включают три класса алгоритмов: 1) алгоритмы генерации элементов комбинаторных множеств по заданному порядковому номеру; 2) алгоритмы нумерации элементов комбинаторных множеств; 3) алгоритмы последовательной генерации элементов комбинаторных множеств. Существует огромное число конкретных алгоритмов генерации комбинаторных множеств. Также существуют методы построения алгоритмов комбинаторной генерации, обладающие некоторой универсальностью: генерирующие деревья, методы ограниченного перебора и т.д. Среди этих методов можно выделить методы, основанные на рекурсивной композиции деревьев И / ИЛИ, которые позволяют задать рекуррентную формулу или алгоритм для вычисления мощности комбинаторного множества. Если мощность комбинаторного множества задана в виде функции f(n) алгебры{N,+,´,R}, где N - множество натуральных чисел, R - оператор примитивной рекурсии, то для такого множества можно однозначно построить алгоритм последовательной генерации и алгоритмы генерации элемента по номеру и нумерации элемента. Важно отметить, что использование методов и алгоритмов комбинаторной генерации позволяет решить одну из самых сложных проблем, связанных с генерацией тестовых заданий, - обеспечение правильной работы генератора и упрощение поиска проблемных ситуаций, возникающих при генерации тестовых заданий. Управление генерацией. В процессе эксплуатации генератора тестовых заданий необходимо управлять генерацией. Например, в тех случаях, когда используется датчик случайных чисел, необходимо избегать генерации одинаковых заданий для студентов, которые находятся в одном классе, или избежать генерации неудачных заданий и т.п. В этом случае необходимо предусмотреть механизм исключения тестового задания из множества возможных. Для этого разрабатывают базу данных с исключенными идентификаторами заданий. Кроме того, как правило, генераторы объединяются в некоторые пакеты, например генераторы задач по одной теме и т.д. Кроме того, генераторы могут выдавать задания разной сложности. 2. Структура генератора тестовых заданий Рассмотрим обобщенную структуру генератора заданий (рис. 1). Входом для генератора является некоторое задание на генерацию, представленную в виде описания конфигурации, в которой могут быть представлены варианты генерации и некоторые ограничения, число сгенерированных заданий, их варианты, установка некоторых параметров и т.д. Это задание на генерацию поступает на вход анализатора, который сканирует это задание и выявляет ошибки, и если ошибок нет, то формирует внутреннее представление параметров генерации. Если необходимо получить новое тестовое задание, то генерируется новый идентификатор задания, который затем записывается в базу данных. Если идентификатор задан, находится запись в базе данных и генерируется уже известное задание. После того как стали известны идентификатор и заданные параметры, запускается генератор задания, который использует базу знаний, в которой записаны шаблоны задач, например в виде некоторых фреймов. Далее тестовое задание поступает на вход генератора решения, генератор решения на основе полученных параметров генерации и параметров тестового задания находит правильный ответ, возможно, также формирует последовательность действий (решение) [5]. 3. Основные этапы построения генераторов тестовых заданий Можно выделить следующие основные этапы при разработке генератора тестовых заданий: 1. Получение технического задания. 2. Этап технического проектирования. 3. Этап программирования и отладки. 4. Этап тестирования и опытной эксплуатации. 4. Инструментальные системы для построения генераторов тестовых заданий Инструментальные системы построения генераторов тестовых заданий призваны обеспечить снижение затрат на создание и эксплуатацию такого программного обеспечения [6]. Опишем инструментальную систему «Платан», которая реализована на применении алгоритмов деревьев И / ИЛИ. На рис. 2 представлена структура инструментальной системы «Платан». В этой системе реализован оригинальный язык представления генератора GILT и технологии визуального проектирования генератора заданий. Технология визуального проектирования генератора заданий заключается в следующем: 1. Формируется основная структура генератора в виде узла (рис. 3). 2. Последовательно раскрывается каждый из узлов: problem, solution, answer. 3. Узел problem описывает формулировку задания и его параметры. 4. Узел solution описывает решение задачи. 5. Узел answer описывает форму и эталонный ответ. 6. В узлах записываются утверждения языка GILT, который содержит переменные и константы, выражения для записи условий, операции назначения и арифметические операции, операторы для записи выражений в языке Latex и др. 7. В узлах также могут записаны таблицы и рисунки. Данная технология, внедренная на ФДО ТУСУРа, показала: 1) сокращение сроков разработки генераторов; 2) обеспечение надежной технологии контроля знаний в системе дистанционного обучения. 5. Примеры генераторов тестовых заданий Рассмотрим пример организации самостоятельной работы на основе генератора тестовых заданий в системе дистанционного обучения ТУСУРа. Исходные данные для создания генератора по разделу «Дифференциальное исчисление» Формулировка обобщенной задачи. Найдите и функции Z(x, y), заданной неявно уравнением: Последовательность ввода значений: в ответ введите сначала значение , а затем через точку с запятой значение в точке . Алгоритм формирования параметров: Генерируемые параметры: Ограничения на параметры: Параметрам придадим значения 0+1; +2; +3 независимо друг от друга. Теоретические указания к задаче: Указание 1. Если уравнение определяет неявно в области Д функцию т.е. в области Д выполняется тождество относительно и функция имеет частные производные причем то справедливы формулы: (1) Частные производные второго порядка можно получить, дифференцируя соотношения (1) либо по x, либо по y, считая при этом переменную z функцией от (x, y), частные производные первого порядка от которой уже найдены. Находим: (2) Частные производные третьего порядка можно найти, дифференцируя соотношения (2) по соответствующей переменной. Алгоритм формирования общего решения: 1. Частную производную находим по первой формуле в (1): 2. Вычисляем значение при 3. Для отыскания смешанной частной производной нам понадобится частная производная , которую находим по второй формуле в (1): Вычислим значение в точке : 4. Для отыскания частной производной применяем второе соотношение в (2). Выражение для дифференцируем по y, учитывая, что z есть функция от x и y. Можно было дифференцировать выражение для по x. (Обозначено заметим, что при величина A - равна единице). 5. Вычислим значение , если На рис. 4 показано задание, сгенерированное из заданного шаблона. Выводы 1. Опыт использования генераторов тестовых заданий показывает их эффективность в решении задачи индивидуального обучения и неизбежность их внедрения в технологии электронного обучения. 2. Развитие генераторов тестовых заданий показывает, что данный класс программных систем относится к системам искусственного интеллекта, которые моделируют деятельность преподавателя. 3. Современные подходы к разработке генераторов говорят о необходимости использования продвинутых инструментальных систем.

Ключевые слова

test assignment generators, combinatorial generation algorithms, distance learning, генераторы тестовых заданий, алгоритмы комбинаторной генерации, дистанционное обучение

Авторы

ФИООрганизацияДополнительноE-mail
Морозова Ю.В.омский государственный университет систем управления и радиоэлектроникиmuv@2i.tusur.ru
Кручинин В.В.омский государственный университет систем управления и радиоэлектроникиkru@2i.tusur.ru
Зорин Ю.А.Томский государственный университет систем управления и радиоэлектроникиzua@2i.tusur.ru
Всего: 3

Ссылки

Зорин Ю.А. Инструментальные системы построения и получения многовариантных тестовых заданий / Ю.А. Зорин, И.А. Посов // Компьютерные инструменты в образовании. - 2014. - № 1. - С. 14-25.
Кручинин В.В. Организация самостоятельной работы студентов с использованием технологии генерации тестовых заданий / В.В. Кручинин, Л.И. Магазинников, Ю.В. Морозова // Системы автоматизации в образовании, науке и производстве. - Новокузнецк : СибГИУ, 2005. - С. 351-353.
Титков А.В. Генерация тестовых заданий на основе грамматик в системе построения генераторов на деревьях И / ИЛИ / А.В. Титков // Материалы Международной научно-методической конференции «Современное образование». - Томск, 2010. - С. 163-164.
Кручинин В.В. Генераторы в компьютерных учебных программах / В.В. Кручинин. - Томск : Изд-во Том. ун-та, 2003. - 200 с.
Кручинин В.В. Модели и алгоритмы генерации задач в компьютерном тестировании / В.В. Кручинин, Ю.В. Морозова // Изв. ТПУ. - 2004. - Т. 307, № 5. - С. 127-131.
Кручинин В.В. Модели и алгоритмы компьютерных самостоятельных работ на основе генерации тестовых / В.В. Кручинин, Л.И. Магазинников, Ю.В. Морозова // Изв. ТПУ. - 2006. - Т. 309, № 8. - С. 258-262.
 ПОСТРОЕНИЕ И ИСПОЛЬЗОВАНИЕ ГЕНЕРАТОРОВ ТЕСТОВЫХ ЗАДАНИЙ В СИСТЕМАХ ДИСТАНЦИОННОГО ОБУЧЕНИЯ | Открытое и дистанционное образование. 2018. № 3(71). DOI: 10.17223/16095944/71/1

ПОСТРОЕНИЕ И ИСПОЛЬЗОВАНИЕ ГЕНЕРАТОРОВ ТЕСТОВЫХ ЗАДАНИЙ В СИСТЕМАХ ДИСТАНЦИОННОГО ОБУЧЕНИЯ | Открытое и дистанционное образование. 2018. № 3(71). DOI: 10.17223/16095944/71/1