APPLICATION EXPERIMENT OF ADAPTIVE CONTROL-OF-TEACHING TESTING.pdf В современных условиях значительно возрастает роль профессионального уровня специалистов и в связи с этим роль образования и информационных технологий в образовании [1]. Контрольно-обучающие комплексы получают всё большее развитие и применение. В этой области довольно перспективным можно считать адаптивное контрольно-обучающее тестирование.При адаптивном тестировании наряду с более качественной оценкой знаний имеется возможность существенно усилить обучающую функцию тестирования, что особенно важно при дистанционном обучении. Предлагаемый алгоритм адаптивной модели контрольно-обучающего тестирования основан на моделях тестирования с подсказками, но имеет существенное отличие от них. Рассмотрим два способа тестирования: первый - традиционный и второй - предлагаемый. В традиционном способе обучаемый получает подсказку после того, как он даст неправильный ответ. Во втором (предлагаемом) способе наводящая подсказка по желанию обучаемого дается до ввода им ответа на поставленный вопрос, что является принципиальным отличием от первого способа. Далее рассмотрим оба способа подробнее. Существенным недостатком первого способа является то, что подсказка дается после того, как у обучаемого уже сформировалась неправильная логика ответа на вопрос или ошибочность исходных представлений и взаимосвязей, что отрицательно сказывается на процессе усвоения материала. Кроме того, введенный неправильный ответ подсознательно фиксируется в памяти и может восстановиться без должной критической оценки при решении аналогичной задачи или анализе подобной ситуации. Это, в свою очередь, может привести оператора или диспетчера к принятию неправильного решения, что недопустимо при управлении сложными техническими комплексами, например, такими как электроэнергетическая система.Объяснения неправильных ответов часто наталкиваются на методические трудности, так как чаще бывает проще показать, как правильно ответить, чем объяснить, почему данный ответ является неправильным. Можно считать, что данное обстоятельство ослабляет обучающую функцию тестирования по первому способу.К недостаткам первого способа можно отнести также и недостаточную концентрацию мышления обучаемого в нужном (правильном) направлении, так как он отвлекается на анализ неправильных вариантов. Первый способ характеризуется также относительно большим объемом вспомогательного материала (вследствие необходимости рассматривать каждый вариант неправильного ответа), увеличением роли случайного фактора. Последнее подтверждается следующими рассуждениями.Если после первого правильного ответа и получения подсказки обучаемый продолжает работу над тем же заданием, то вероятность случайного ввода правильного ответа: , (1)где N - исходное число вариантов ответов, n - число озвученных (зафиксированных) неправильных ответов, n(N-1). Вероятность увеличивается с увеличением количества зафиксированных неправильных ответов. Вероятность случайного появления правильного ответа достигнет значения =0,5 при N=4 - уже после второго неправильного ответа, при N=5 - после третьего. Увеличение вероятности случайного ввода правильного ответа в процессе тестирования является наряду с перечисленными раньше недостатком традиционного способа тестирования с подсказками.От указанных недостатков в значительной степени освобожден предлагаемый (условно - второй) способ - адаптивное контрольно-обучающее тестирование, в котором, как уже указывалось, обучаемый берет подсказку до того, как зафиксирован неправильный ответ.Граф предлагаемого адаптивного контрольно-обучающего тестирования изображен на рис. 1, из которого видно, что подсказка берется обучаемым до того, как он даст ответ, т.е. обучаемый берет первую подсказку в случае, если он затрудняется дать правильный ответ или сомневается в правильности предполагаемого ответа. Первая подсказка относится к первому уровню - «наводящих» подсказок.Рис. 1. Граф адаптивного контрольно-обучающего тестированияЕсли после получения первой подсказки обучаемый снова затрудняется правильно ответить на вопрос в задании, он может, не отвечая, взять следующую подсказку (второго уровня, в которой содержатся более подробные объяснения), после чего у него также остается выбор: отвечать или брать следующую подсказку. Использовав несколько подсказок, обучаемый отвечает на вопрос, после чего получает комментарий на ответ. Общая оценка знаний учитывает количество взятых подсказок.В рассматриваемом способе (рис. 1) тестирование заканчивается сразу после того, как обучаемый даст ответ (правильный или неправильный). Ответ в любом случае сопровождается комментарием. Обращение к подсказкам до формулировки ответа активизирует мышление обучаемого в нужном направлении, меньше отвлекает на анализ других возможных вариантов. Неправильные ответы играют гораздо меньшую роль в общем анализе информации, на них не заостряется внимание, вследствие чего они меньше фиксируются в памяти. Делается акцент на то, как надо правильно решать (делать, поступать), а не на то, почему не надо делать по-другому. Очевидно, такой акцент можно считать методически оправданным.Во втором способе роль случайного фактора при тестировании не увеличивается при использовании подсказок, а остается постоянной (минимальной), так как вероятность случайного ввода правильного ответа в данном способе не изменяется и равна . Общий объем вспомогательного материала несколько уменьшается из-за отсутствия необходимости подробно рассматривать каждый неправильный вариант ответа отдельно, ограничиваясь только комментариями к окончательному ответу. К недостаткам второго способа можно отнести некоторую методическую сложность составления многоуровневой системы подсказок на каждое задание. Разновидностью второго способа может быть комбинированный способ, при котором обучаемый может взять подсказку как до ответа, так и после него, если ответ неправильный. После неправильного ответа обучаемый может взять несколько подсказок и только потом формулировать следующий ответ. Комбинированный способ в той или иной степени обладает недостатками и достоинствами, присущими обоим рассмотренным способам. Предлагаемый (второй) и комбинированный способы тестирования могут найти достаточно широкое применение в дистанционном образовании, в котором, как известно, возможность непосредственного общения обучаемого с преподавателем часто является ограниченной и заменяется общением обучаемого с компьютером.В соответствии с описанной методикой был разработан возможный алгоритм адаптивного контрольно-обучающего тестирования. Алгоритм изображен на рис. 2. Исходной информацией являются: банк заданий, банк многоуровневых подсказок, банк правильных ответов. Из банка заданий обучаемый выбирает конкретное (порядковое или по заданию преподавателя) задание, содержащее вопрос и варианты ответов.Выставление оценки означает конец тестирования.Рис. 2. Алгоритм адаптивного контрольно-обучающего тестирования (второй способ)Если после ознакомления с заданием обучаемый готов сразу дать ответ, то он, не обращаясь к подсказкам, вводит ответ в компьютерную программу, который далее сравнивается с правильным ответом. Если ответ правильный, то обучаемый получает максимальную оценку , если неправильный - минимальную .Если обучаемый не может ответить на поставленный в задании вопрос (или решить задачу), то он, не отвечая, берет первую подсказку. Из банка подсказок выдается подсказка первого уровня, получив которую обучаемый снова пытается ответить на поставленный вопрос. Как и на первом этапе тестирования, на втором предоставляется две возможности: дать ответ или взять следующую подсказку.Если обучаемый дает правильный ответ на втором этапе, то он получает оценку , уменьшенную по сравнению с вследствие того, что при ответе была использована первая подсказка. Если же и на втором этапе после получения первой подсказки обучаемый затрудняется в выборе правильного ответа, то он, не отвечая, может взять вторую подсказку, после которой он опять имеет возможность выбора: отвечать или брать следующую подсказку.Неправильный ответ всегда оценивается как . Оценка правильного ответа после каждой подсказки уменьшается, т.е. (2)где k - номер последней подсказки.Количество подсказок теоретически может быть любым. Практически можно ограничиться двумя-тремя подсказками на каждое задание.По приведенному алгоритму была составлена программа адаптивного тестирования с многоуровневой системой подсказок.В качестве инструмента программной реализации составленного алгоритма адаптивного тестирования был выбран язык программирования ASP.NET с использованием библиотекой классов Framework 3.5, включенный в интегрированную среду разработки Microsoft Visual Studio 2008.При запуске веб-страницы в клиентской области окна Интернет-обозревателя отображается наименование дисциплины, предметная область которой включает вопросы теста, номер текущего вопроса, его формулировку и предлагаемые варианты ответа.Кроме того, справа от кнопок перехода к предыдущему и следующему вопросу (расположены после перечисления вариантов ответа) находится активная ссылка «Взять подсказку», после которой в скобках указывается количество доступных подсказок. Обращение к активной ссылке инициирует отображение на экране текста подсказки с одновременным блокированием веб-страницы до нажатия пользователем кнопки «OK», подтверждающего прочтение (и усвоение) информации подсказки (рис. 3).Рис. 3. Обдумывание первого вопроса. Запрос первой подсказкиПосле закрытия окна подсказки количество допустимых подсказок к текущему вопросу уменьшается, и данное число отображается справа активной ссылки «Взять подсказку». В случае, если были взяты все подсказки к текущему вопросу (список подсказок исчерпан) и пользователь обращается к активной ссылке, на экране появится сообщение о невозможности получения очередной подсказки.Для удобства пользователя при переходе к первому и последнему вопросу происходит блокировка кнопок «Предыдущий вопрос» и «Следующий вопрос» соответственно. Пользователь может свободно перемещаться к любому вопросу в пределах теста, вне зависимости от наличия реализации выбора (фиксация кнопки-переключателя соответствующего варианта ответа) и количества полученных подсказок. При необходимости сопровождения вопроса некоторой графической информацией в правой части клиентской области Интернет-обозревателя будет выведено изображение, связанное с текущим вопросом.Для завершения тестирования требуется нажать кнопку «Завершить тестирование» в нижней части окна. В результате будет выведена оценка в баллах и максимально возможное значение оценки. Впоследствии программа завершает свою работу.Разработанный веб-сайт обеспечивает требуемый уровень абстракции данных и реализует сформулированную концепцию тестирования для множества входных данных (подмножества вопросов, содержащего также поле для хранения графической информации, вариантов ответов, подсказок) любой области знаний. Для изменения перечня вопросов необходимо лишь отредактировать соответствующие таблицы базы данных. Таким образом, достигается универсальность и независимость веб-системы тестирования от исходного множества входных данных, определяемых конкретной дисциплиной.По предложенной методике и разработанной программе адаптивного тестирования с подсказками был реализован эксперимент, который включал в себя определение знаний студентов по традиционной схеме тестирования (неадаптивной, без подсказок) и по предложенной схеме. Были организованы две группы (А и Б) по 10 студентов специальности «Электроснабжение промышленных предприятий», которым были предложены два комплекта (I и II) из 10 заданий по теоретическим основам электротехники (ТОЭ), каждое из которых включало в себя один вопрос и 5 вариантов ответов, среди которых был один правильный. При проведении эксперимента были использованы программированные задачи [3], к которым авторами были разработаны подсказки, по две на каждое задание. Каждая группа испытывалась два раза. При тестировании группы А сначала использовался первый набор заданий без подсказок (I БПС - см. табл. 1), затем второй набор заданий с подсказками (II СПС - в табл. 1). При тестировании группы Б сначала использовался второй набор заданий без подсказок (II БПС), затем первый набор заданий с подсказками (I СПС). Таким образом в каждом этапе тестирования использовался новый набор заданий. Этим достигалась независимость последующего этапа тестирования от предыдущего и от результатов тестирования в каждой группе. Время на выполнение десяти заданий одного комплекта ограничивалось 50 мин.Для реализации первого и второго способов тестирования были использованы модификации описанной ранее программы. Результаты тестирования сведены в табл. 1, в которой приведены средние значения суммарных баллов, полученных студентами при тестировании каждым способом. В первом способе правильный ответ оценивался в 10 баллов, а неправильный - в 0 баллов. Во втором способе правильный ответ без подсказки оценивался в 10 баллов, с одной подсказкой - 8 баллов, с двумя подсказками - 6 баллов; неправильный ответ оценивался в 0 баллов.Таблица 1. Результаты тестирования двумя способами Вариант ГруппаI БПСII БПСI СПСII СПСА6184,4Б5782,2Для группы А в первом случае (тестирование без подсказок) общее количество правильных ответов на вопросы по всем десяти предложенным заданиям оказалось равным 61, суммарное количество набранных десятью студентами баллов равно 610, среднее значение суммарных баллов по каждому заданию (средний балл) равен 61. Во втором случае общее количество правильных ответов (с использованием подсказок) оказалось равным 96, общая сумма набранных баллов стала равна 844, и средний балл повысился до 84,4.Для группы Б в первом случае (традиционный вариант тестирования без подсказок) правильных ответов было 57, общая сумма набранных баллов равна 570, средний балл равен 57; во втором случае (адаптивное тестирование с подсказками) правильных ответов было 95, общая сумма баллов составила 822; средний балл - 82,2.Анализ результатов тестирования показал существенные преимущества предлагаемого способа - адаптивного тестирования с использованием подсказок до ввода испытуемым ответа на вопрос. Во-первых, применение подсказок до ввода ответа значительно повысило обучаемость, что видно из сравнения количества правильных ответов, полученных при разных способах тестирования. Во-вторых, была получена более достоверная оценка знаний студентов. Если в первом (традиционном) способе при оценке ответа на вопрос были возможны только два варианта: правильный ответ (оцениваемый, например, в 10 баллов) и неправильный (оцениваемый в 0 баллов), то во втором способе появилась возможность реализовать более гибкую систему оценок. В-третьих, как выяснилось в процессе эксперимента, существенно повысилась познавательная активность студентов, их способность самостоятельно находить правильные решения, что особенно важно при дистанционном обучении. Организация и результаты эксперимента подтвердили и другие преимущества предлагаемого способа, о которых говорилось ранее. Для реализации предлагаемого способа тестирования можно использовать разработанную авторами программу. Тестирование - быстрый и эффективный способ не только контроля и оценки знаний, но и (при наличии в самом тесте наводящих вопросов и подсказок) - современный способ обучения, в частности дистанционного, способ активизировать и облегчить работу по усвоению учебного материала. Адаптивное тестирование с гибкой системой многоуровневых подсказок как разновидность компьютерного тестирования может найти достаточно широкое применение в сфере образования и повышения квалификационного уровня специалистов различного профиля.

Скачать электронную версию публикации