Dichotomic MODEL FOR SYSTEM OF PARTiAL COMPUTER TESTING.pdf Одним из признаков систем электронного тестирования является их техническая структура, которая отражает технику выполнения следующих задач: – формирование банка тестовых заданий и компоновка тестов; – проведение сеансов тестирования и передача данных; – обработка ответов, подсчет баллов, сбор и анализ статистики. Функции всех трех групп могут выполняться как при помощи компьютеров, так и вручную (преподавателем или группой преподавателей). Различные варианты выполнения этих функций порождают различные технические структуры систем электронного тестирования. Системы, в которых все три функции выполняются компьютером, будем называть системами полного электронного тестирования. Автор статьи является разработчиком систем электронного тестирования. В частности, его система «Олимп» [4], предназначенная для проведения математических олимпиад, работает по схеме рис. 1. В этой конструкции автономные компьютеры имеют выход на тест-сервер. Подобная схема дает возможность рабочим станциям непосредственно общаться с тест-сервером, оперативно получать исходные материалы, быстро возвращать итоговые данные. Эффективность схемы зависит от пропускной способности каналов и производительности тест-сервера. К сожалению, материально-техническая база многих вузов (наличие ЭВМ, соответствие качества ЭВМ мировым стандартам) по-прежнему находится не на должном уровне. В связи с этим преподаватели вынуждены собственноручно выполнять некоторые из вышеперечисленных функций. Такие системы будем называть системами частичного электронного тестирования. Авторские системы частичного электронного тестирования K-Commander и UniTex [3, 5 – 7] функционируют по схеме рис. 2. При помощи системы частичного электронного тестирования на ЭВМ готовится раздаточный материал (варианты контрольной работы (КР)). Затем в аудитории проводится контрольная работа: учащиеся выполняют задание на бланках, после чего бланки с выполненной КР сдаются преподавателю. Он их проверяет и выставляет оценки. Отметим, что процесс проверки КР при использовании этих систем может быть заметно упрощен, поскольку имеется возможность распечатать ответы ко всем заданиям КР. Благодаря листингу с ответами преподаватель имеет возможность проверять полученные на занятии ответы учащихся по несколько раз. При этом учащийся имеет возможность исправлять технические огрехи в своих решениях. Автор статьи работает по следующему правилу, которое объявляется перед проведением КР: каждый учащийся имеет две попытки для проверки правильности полученных ответов ко всем задачам, при этом вторая попытка последняя, после которой выставляется итоговая оценка. Таким образом, учащийся пытается решить все задачи КР и за определенное им время до окончания КР (30 мин, 20 мин, 10 мин,….) сдает преподавателю ответы к решенным задачам для первой проверки. Преподаватель, используя листинг с ответами, оперативно проверяет правильность полученных ответов, после чего испытуемый имеет возможность подправить неверно решенные задачи. После второй проверки преподаватель выставляет итоговую оценку, которая не зависит от числа использованных попыток, так как технически сложно учитывать число попыток для корректировки итоговой оценки. Итоговая оценка обычно выставляется автором по числу решенных заданий КР. Автор дает своим учащимся две попытки для успешного решения. Однако листинг с ответами позволяет преподавателю предоставлять учащимся n = 3, 4, 5, … попыток для решения одного задания. Очевидно, что точность выставленной оценки должна увеличиваться. В этой работе исследуется точность di, i=1, 2, … m, выставляемого балла при решении i-го задания КР, состоящей из m заданий. Точность d выставляемой итоговой оценки вычисляется по следующей формуле: . Рис. 3. Зависимость ошибки σ от вероятности p решения задачи для различного количества попыток n = 1, 2, 3 Рассмотрим следующую случайную величину, число B решенных задач при решении одной задачи. Предположим, что вероятность решения этой задачи равна p. Эта вероятность определяется уровнем подготовленности учащегося и уровнем трудности задания [1, 2]. Эту вероятность можно определять опытным путем: провести КР, в которую входит данная задача, для всех групп данного потока. Если число n студентов потока достаточно велико, то вероятность решения задачи можно определять по формуле , где m – число студентов, решивших эту задачу. Обычно средний уровень подготовленности студентов данного потока мало меняется со временем, поэтому это значение вероятности можно использовать впоследствии как приближенное значение вероятности решения данной задачи. Тогда ряд распределения случайной величины B (назовем ее первичным баллом) будет иметь вид bi 0 1 pi (1–p)n 1– (1–p)n Известно, что такой ряд распределения описывает дихотомический случай тестирования. Точность выставляемой оценки B определяется средним квадратическим отклонением σ случайной величины B, которое вычисляется следующим образом: 1) M(B) = 1 – (1 – p)n; 2) D(B) = 1 – (1 – p)n – (1 – (1 – p)n)2 = (1 – (1 – p)n)(1 – p)n; 3) σ(B) = . Поведение σ(B) для различных значений n проиллюстрировано на рис. 3. Отметим, что все расчеты этой работы осуществлялись при помощи авторской компьютерной программы. Рис. 4. Зависимость Pmin от числа попыток n. Анализируя изображенные графики, можно сделать следующие выводы. 1) Зависимость ошибки σ от p для любого n определяется графиком, возрастающим на интервале (0; Pmax), где Pmax – единственная точка экстремума функции (точки D, D’, D” на графиках), а именно точка максимума, и убывающим на интервале (Pmax; 1). При этом точка максимума может быть определена аналитически следующим образом: а) ; б) , . 2) Начиная с точек, обозначенных на рисунке буквами B, B’, графики σ(n > 1) лежат ниже графика σ(n = 1). В силу этого получается выигрыш в точности для заданий с вероятностью решения p > p(B). Зависимость Pmin = P(B) от n дается на рис. 4. Рис. 5. Зависимость среднего значения выигрыша ошибки Derr (n, ср) от числа попыток n Анализируя график на рис. 4, можно сделать вывод, что зависимость вогнутая, убывающая, значения которой заключены в пределах от 0,165 до 0,382. Увеличивая n, можно позволить включать в КР задания с малой вероятностью решения, т.е. «трудные задания» (p > 0,165). В случае применимости в учебном процессе авторской модели (n = 2) сложность заданий должна определяться вероятностью p>0,382. Только при соблюдении этих ограничений можно добиться выигрыша в точности. 3) Сектора BDAC, B’DAC соответствуют самому выигрышу, который обсуждался выше. Здесь рассматривался выигрыш в двух видах: а) абсолютный выигрыш , где . Как видно из рис. 3, Derr (n, p) удовлетворяет неравенству . Абсолютный выигрыш в 0,1 представляет собой выигрыш в 10 баллов на 100-балльной шкале. Например, если изначально без применения технологий учащемуся выставлялась оценка 60 баллов с точностью в 15 баллов (истинная оценка находится в пределах от 45 до 75 баллов), то после использования технологий с введением дополнительных попыток учащемуся будет выставляться оценка 60 баллов с точностью в 5 баллов (истинная оценка находится в пределах от 55 до 65 баллов). Рис. 6. Зависимость среднего значения относительного выигрыша ошибки RDerr (n, ср) от числа попыток n б) относительный выигрыш (в процентах): . Относительный выигрыш показывает, какой процент составляет абсолютный выигрыш относительно исходного выигрыша. Дадим интерпретацию относительного выигрыша в 40%. Например, пусть до использования технологий учащийся получает оценку 60 баллов с точностью в 15 баллов (истинная оценка находится в пределах от 45 до 75 баллов), то после использования технологий абсолютный выигрыш составит 6 баллов (истинная оценка при выставленной оценки в 60 баллов находится пределах от 51 до 69 баллов). Для обоих выигрышей находился средний выигрыш по формулам: а) для абсолютного выигрыша: ; Рис. 7. График зависимости Derr (2, р) б) для относительного выигрыша: . Графики зависимостей Derr (n, ср) и RDerr (n, ср) изображены на рис. 5 и 6. Анализируя эти графики можно сделать следующий вывод (назовем его принципом наибольшей выгоды): наибольший выигрыш получается при использовании двух попыток (n = 2), при использовании большего числа попыток (n > 2) рост среднего выигрыша «замедляется». Учитывая рост трудоемкости с увеличением числа попыток, можно рекомендовать преподавателям использовать две попытки при проведении КР для получения наилучшего результата. Были построены и исследованы графики зависимостей Derr (2, р) и RDerr (2, р) (рис.7, 8). График функции Derr (2, р), как видно из рисунка, имеет единственную точку экстремума, точку максимума Pmax. График зависимости Pmax от числа попыток n изображен на рис. 9, который показывает оптимальный уровень сложности задач, при использовании которых на КР преподаватель может получить наибольший выигрыш для различных n. График зависимости максимума Derr(n,max) функции Derr (n, p) от числа попыток n изображен на рис. 10, который также подтверждает принцип наибольшей выгоды (см. выше). Рис. 8. График зависимости Rderr (2, р) Из графика рис. 7 видна зона (0,622 < p < 0,973), границы которой соответствуют получению среднего выигрыша и при попадании в которую можно получить абсолютный выигрыш выше среднего Derr(2,ср). Изменение этой зоны в зависимости от n можно проследить по табл. 1. Таблица 1 зоны выигрыша, большего, чем средний, для различных значений n Из таблицы видно также, что длина этой зоны расширяется с ростом n. Функция RDerr (n, p) показывает относительный выигрыш (в процентах) в точности. Вычисляя производную этой функции по переменной p, получим . Для любого значения p: 0 < p < 1, производная положительна, значит, функция является возрастающей функцией, что мы и видим на рис. 8. Причем . Рис. 9. Зависимость точки максимума Pmax функции Derr (n, р) от числа попыток n. Рис. 10. Зависимость максимума Derr (n, max) функции Derr (n, р) от числа попыток n. Из графика рис. 8 видно, что средний относительный выигрыш в RDerr(2,ср) = 38,8 достигается pср = 0,709. А для задач с p > 0,709 относительный выигрыш будет больше RDerr(2,ср). В табл. 2 приведены значения pср и RDerr (n, ср) для различных значений n. Таблица 2 Таблица значений pср и RDerr (n, ср) для различных значений n Из вышесказанного следует, что преподавателю наиболее выгодно использовать при проведении КР дихотомную модель с двумя попытками. Приведем последний рисунок (рис. 11), на котором изображены графики различных зависимостей для случая n = 2: зависимости σ(1, p) и σ(2, p), а также график относительного выигрыша RDerr (2, p), умноженного на 0,01. Перечислим еще раз основные характеристики зависимостей рис. 11. 1) Значение минимальной вероятности, начиная с которой наблюдается выигрыш в точности, равно 0,382. 2) Значение вероятности, при которой достигается максимальный абсолютный выигрыш, равно 0,85. При этом сам максимальный абсолютный выигрыш составляет 0,209. Рис. 11. Зависимости для случая n = 2 . 3) Среднее значение абсолютного выигрыша равно 0,1349, которое достигается для двух значений вероятности: 0,622 и 0,973. 4) Если задачи КР находятся в зоне (0,622; 0,973), то можно получить выигрыш выше среднего. 5) Среднее значение относительного выигрыша равно 38,8%, которое достигается при значении вероятности 0,7093. 6) Если задачи КР находятся в зоне (0,7093; 1), то можно получить относительный выигрыш выше среднего. В заключение подведем основные итоги: 1) Если использовать при проведении КР дихотомическую модель, описанную выше, с n=2, 3, 4, … попытками, то можно (см. рис. 3) добиться повышения точности при выставлении итоговой оценки. 2) При исследовании дихотомической модели был выявлен следующий принцип наибольшей выгоды: наибольший выигрыш получается при переходе от использования одной попытки к использованию двух, при увеличении числа попыток (n > 2) рост среднего выигрыша «замедляется». Учитывая рост трудоемкости с увеличением числа попыток, можно рекомендовать преподавателям использовать две попытки при проведении КР для получения наилучшего результата. 3) Установлены (см. рис. 4) наименьшие значения вероятности решения задач, начиная с которых, наблюдается выигрыш в точности при выставлении первичного балла . 4) Вычислены (см. рис. 5, 6) средние значения абсолютного и относительного выигрышей в точности для различных значений n. 5) Установлены (см. рис. 7,8) виды зависимостей для абсолютного и относительного выигрышей в точности выставления первичного балла. 6) Определены (см. табл. 1, 2) зоны трудности задач КР, для которых абсолютный и относительный выигрыши будут выше среднего. 7) Рассчитаны (см. рис. 10) максимальный абсолютный выигрыш для различных значений n и соответствующие уровни (см. рис. 9) заданий КР, при которых этот максимальный выигрыш достигается.

Скачать электронную версию публикации