STATISTICAL MODELING OF INTERNET EXAMINATION CONDUCTED IN THE FRAMEWORK OF HIGHER SCHOOL CERTIFICATION.pdf Интернет-экзамен как часть аттестации ВУЗов В 2012 г. в МГУПриродообустройства проводилась аттестация университета. Аттестация ВУЗа проводилась по многим параметрам, в числе которых был уровень подготовленности учащихся по многим фундаментальным дисциплинам. Математика - одна из таких фундаментальных дисциплин. Приведем описание тестирования студентов по математике в рамках аттестации ВУЗа. 1) Вначале определяются учебные группы, которые должны пройти аттестацию. Эти группы выбирались равномерно по всем существующим факультетам. При аттестации ВУЗа в тестировании принимали участие около 10-и учебных групп. 2) На специальном известном сайте выкладываются примерные варианты теста. Каждый студент из выбранных групп имел возможность ознакомиться с задачами теста по математике, осуществить предварительную подготовку по дисциплине (табл.1). 3) Задачи теста делятся по темам: по математике было 6 тем (табл.2). Как видно из таблицы, по каждой теме предлагается от 4 до 10 задач. Подобные задачи студент получает во время тестирования на дисплее компьютера. Эти задачи могут быть перемешаны во время тестирования Таблица 1. Требования ГОС к обязательному минимуму содержания основной образовательной программы ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Специальность: 190207.65 - Машины и оборудование природообустройства и защиты окружающей среды. Дисциплина: Математика Время выполнения теста: 80 минут. Количество заданий: 38. ТРЕБОВАНИЯ ГОС К ОБЯЗАТЕЛЬНОМУ МИНИМУМУ СОДЕРЖАНИЯ ОСНОВНОЙ ОБРАЗОВАТЕЛЬНОЙ ПРОГРАММЫ Индекс Дисциплина и ее основные разделы Всего часов ЕН.Ф Федеральный компонент 1580 ЕН.Ф.01 Математика: аналитическая геометрия и линейная алгебра; Дифференциальное и интегральное исчисления; векторный ангализ и элементы теория поля; гармонический анализ; дифференциальные уравнения; уравнения математической физики; функции комплексного переменного; численные методы; основы вычислительного эксперимента; элементы функционального анализа; элементы дискретного анализа; вероятность и статистика: теория вероятностей, случайные процессы, статистическое оценивание и проверка гипотез, статистические методы обработки экспериментальных данных; вариационное исчисление и оптимальное управление 700 Таблица 2. Тематическая структура теста. ТЕМАТИЧЕСКАЯ СТРУКТУРА АПИМ № ДЕ Наименование дидактической единицы ГОС № за да ния ТЕМА ЗАДАНИЯ 1 Алгебра и геометрия 1 2 3 4 5 6 Линейные операции над матрицами Системы линейных уравнений, основные понятия Прямая на плоскости Прямая и плоскость в пространстве Скалярное произведение векторов Коллинеарность и перпендикулярность векторов 2 Математический анализ 7 8 9 10 11 12 13 14 15 16 Функции: основные понятия и определения Предел функции Производные первого порядка Приложения дифференциального исчисления ФОП Дифференциальное исчисление ФНП Свойства определенного интеграла Приложения определенного интеграла Элементы теории множеств Мера плоского множества Отображение множеств 3 Теория функций комплексного перменного 17 18 19 20 21 22 Операции над комплексными числами Определение функции комплексного переменного Дифференцирование функции комплексного переменного Периодические функции Элементы гармонического анализа Ряд Фурье. Теорема Дирихле 4 Дифференциальные уравнения 23 24 25 26 Типы дифференциальных уравнений Дифференциальные уравнения первого порядка Дифференциальные уравнения высших порядков Линейные дифференциальные уравнения второго порядка 5 Теория вероятностей и математическая статистика 27 28 29 30 31 32 Теоремы сложения и умножения вероятностей Полная вероятность. Формула Байеса Дискретная случайная величина Характеристики вариационного ряда Точечные оценки параметров распределения Интервальные оценки параметров распределения 6 Вычислительная математика, дискретная математика 33 34 35 36 37 38 Операции над высказываниями Элементы теории множеств Элементы комбинаторики Численные методы решения алгебраических уравнений Численные методы анализа Численные методы решения дифференциальных уравнений 4) Для того, чтобы студенту пройти аттестацию по математике, ему необходимо решить не менее половины задач по каждой теме. Эта специфика тестирования вводила в заблуждение многих студентов: при решении 92% (35/38•100%) всех задач теста учащийся мог и не пройти аттестацию, выполнив, например, по теме “Дифференциальные уравнения” всего лишь одну задачу из четырех (табл.3). 5) В конце тестирования группы фиксировалось количество учащихся, не прошедших аттестацию. Если число таких студентов составляет процент, больший чем pr (pr ≈ 50%), то группа считается не прошедшей аттестацию, т.е. устанавливается факт отрицательной аттестации группы. В противном случае устанавливается факт положительной аттестации группы. Таблица 3. Задачи по теме “Дифференциальные уравнения” Задача №23 (выберите несколько вариантов ответа) Среди перечисленных дифференциальных уравнений уравнениями первого порядка являются: Варианты ответов: 1) 2) 3) 4) Задача №24 (выберите один вариант ответа) Общий интеграл дифференциального уравнения имеет вид… Варианты ответов: 1) 2) 3) 4) Задача №25 (выберите один вариант ответа) Общее решение дифференциального уравнения имеет вид ….. Варианты ответов: 1) 2) 3) 4) Задача №26 (выберите один вариант ответа) Дано дифференциальное уравнение . Общим видом частного решения данного уравнения является….. Варианты ответов: 1) 2) 3) 4) 6) Если хотя бы одна из выбранных групп не проходит аттестацию, считается, что ВУЗ по этому параметру не прошел аттестацию. Описанное выше тестирование зависит от многих параметров, среди которых такие как 1) уровень подготовленности учащихся в тестируемой группе, 2) разнородность группы, определяемая диапазоном изменения уровня подготовленности, 3) уровень трудности заданий теста, 4) разнородность заданий теста, определяемая диапазоном изменения уровня трудности заданий, 5) количество учащихся в тестируемой группе, 6) порог аттестации группы pr (см. выше). Целью данной работы является изучение зависимости вероятности положительной аттестации группы от вышеперечисленных параметров при помощи имитационного моделирования, использующего метод Монте-Карло. Моделирование аттестационного тестирования при помощи метода Монте-Карло Имитационное моделирование в представленной работе основано на использовании математической теории тестирования известного датского математика Г.Раша [1], [2]. Вкратце изложим основные положения этой теории, которые использовались в этой работе. Естественно полагать, что успех участника тестирования в решении определенного тестового задания зависит, в основном, от двух факторов: трудности задания и подготовленности испытуемого. Таким образом, вероятность того, что определенный участник тестирования с уровнем подготовленности s верно решит определенное задание с уровнем трудности t , представляет некоторую функцию p=p(s,t), которая называется функцией успеха. Для этой функции была выведена формула: , где Переменные s и t принято называть латентными (ненаблюдаемыми, то есть недоступным для непосредственного измерения) параметрами, поскольку они призваны описывать некоторые скрытые характеристики участников тестирования и тестовых заданий. На практике аргументы s и t удобно выражать в логарифмическом масштабе. Для этого вводятся переменные θ и δ по формулам: θ=ln(s) , δ=ln(t) При этом функция успеха примет следующий вид: . Эта формула называется основной логистической моделью Раша, в которой аргументы θ и δ измеряются одной и той же шкалой с единицей измерения один логит. Исходя из практической целесообразности, вероятность наступления некоторого события вычисляется с точностью до 3-х знаков после запятой. Поэтому вероятность, равную 0,9999, можно принять за вероятность достоверного события. Решая уравнение (1) относительно величины (θ - δ), получим, что θ - δ = 9,21. Задача будет решена достоверно, если учащийся имеет максимально возможный уровень подготовленности θ = θmax, а задание - минимально возможный уровень трудности δ = δmin. Учитывая, что измерение уровней подготовленности и уровней трудности осуществляется на одной симметричной шкале логитов (δmin = - θmax), приходим к равенству: 2θmax= 9,21. Отсюда получаем θmax= 4,6, что позволяет считать, что значения латентных параметров реально меняются в пределах от -4,6 до 4,6. В вышеупомянутой работе [2] этот интервал расширен до интервала (-5; 5). Поэтому связь между шкалой логитов и 100% шкалой осуществлялась по формуле: , где θ - уровень подготовленности по шкале логитов, B - уровень подготовленности по 100% - шкале , θmax= 5. Для имитационного моделирования укажем диапазоны изменения вышеперечисленных параметров аттестационного тестирования. 1) Уровень подготовленности группы θср, определяется математическим ожиданием уровня подготовленности θ учащихся группы ([1], [2]). Используя линейный способ перевода шкалы логитов в 100% - шкалу, будем измерять введенный параметр в %. Эти единицы измерения более привычны нам по оценкам ЕГЭ. Диапазон изменения этого параметра: 30 ≤ θср ≤ 70. Значение θср = 50 будем считать средним значением. 2) Абсолютное значение максимального отклонения Δθmax уровня подготовленности учащихся группы от величины θср. Можно назвать этот параметр неоднородностью группы. Единицами измерения этого параметра будут % (см. 1)). Диапазон изменения этого параметра: 0 ≤ Δθmax ≤ 30. Значение Δθmax = 20 будем считать средним значением. 3) Уровень трудности теста δср определяется математическим ожиданием уровня трудности δ задания теста ([1], [2]). Используя линейный способ перевода шкалы логитов в 100% - шкалу, будем измерять введенный параметр в %. Диапазон изменения этого параметра: 30 ≤ δср ≤ 70. Значение δср = 50 будем считать средним значением. 4) Максимальное отклонение Δδmax уровня трудности задания теста от величины δср. Можно назвать этот параметр неоднородностью теста. Единицами измерения этого параметра будут % (см. 3)). Диапазон изменения этого параметра: 0 ≤ Δδmax ≤ 30. Значение Δδmax = 5 будем считать средним значением. 5) Число n студентов в группе, принимающей участие в аттестации. Диапазон изменения этого параметра: 10 ≤ n ≤ 35. Значение n = 25 будем считать средним значением. 6) Порог аттестации pr, представляющий собой процент, такой что, если процент не прошедших аттестацию учащихся группы будет выше pr, то группа получает отрицательный аттестационный результат. Диапазон изменения этого параметра: 50 ≤ pr ≤ 80. Значение pr = 50 будем считать средним значением. При исследовании зависимости результатов аттестации от вышеперечисленных параметров использовалась следующая гипотеза: уровень подготовленности учащегося группы и уровень трудности задания теста распределены по нормальному закону. Используя выдвинутую гипотезу, а именно правило 3-х сигм, можно утверждать что θ ≈ N(θср, Δθmax/3), δ ≈ N(δср, Δδmax/3). На основании этой гипотезы в программе создается одномерный массив уровней подготовленности учащихся, а также двумерный массив уровней трудности заданий теста. Для этого используется метод Монте-Карло, неоднократно использованный автором при исследовании различных сегментов учебного процесса ([4], [5]),. Этот метод позволяет моделировать на ЭВМ случайные величины, распределенные по заданному закону. Согласно выдвинутой гипотезе случайные величины θ и δ(i) (i - номер темы) распределены по нормальному закону (см. выше). Поэтому реализации этих случайных величин могут быть найдены исходя из следующих выкладок. Если случайная величина θ распределена по нормальному закону N(a, σ) с функцией распределения F(x)=F0((x-a)/σ), где F0(t) - функция распределения нормированного нормального распределения N(0,1), то случайная величина R=F(θ) распределена равномерно на интервале (0, 1). Решая уравнение R= F0((θ-a)/σ) относительно неизвестного θ, получим: θ = F0-1(R)*σ + a, где F0-1(R) - обратная функция к функции F0(t). Последняя формула позволяет находить реализации случайных величин θ и δ при помощи датчика случайных чисел R на (0, 1). Для моделирования матрицы ответов учащихся использовалась формула (1) по следующей схеме: учащийся с уровнем подготовленности θ решает задание с уровнем трудности δ, если для очередной реализации r датчика случайных чисел выполняется следующее неравенство r < p = 1/(1 + exp(-(θ - δ)))/ В случае выполнения противоположного неравенства считается, что учащийся не решает задание. На основании матрицы ответов устанавливается факт отрицательной или положительной аттестации группы. Вероятность положительной аттестации группы вычисляется при помощи проведения 1000 статистических смоделированных испытаний. Аттестационные области Определим в области допустимых значений параметров системы (ОДЗПС) аттестационные области 4-х типов: критическая, неудовлетворительная, удовлетворительная, положительная. Будем считать, что учебное заведение успешно прошло аттестацию по тестированию, если все тестируемые группы прошли аттестацию. В этом случае будем говорить, что аттестация учебного заведения по тестированию студентов привела к положительному результату. В противном случае будем говорить, что учебное заведение не прошло аттестацию или аттестация учебного заведения привела к отрицательному результату. Учитывая, что тестирование осуществляется примерно в 10-ти учебных групп, можно вычислить вероятность Pатт положительного результата аттестации по формуле: , где p - вероятность получения положительного результата при тестировании группы. Разделим ОДЗПС на четыре области в зависимости от значения p. 1) Если 0 ≤ p < 0.63, то Pатт < 0.01 (1%). В этом случае можно считать достоверным событие отрицательного результата аттестации учебного заведения. Определение 1. Область в ОДЗПС называется критической, если для любого набора параметров из этой области 0 ≤ p < 0.63. 2) Если 0.63 ≤ p < 0.93, то 0.01 ≤ Pатт < 0.5 (от 1% до 50%). В этом случае аттестация может привести к положительному результату, а может и не привести. Причем вероятность отрицательного результата выше, нежели положительного. Можно сказать, что скорее всего в этом случае аттестация приведет к отрицательному результату. Определение 2. Область в ОДЗПС называется неудовлетворительной, если для любого набора параметров из этой области 0.63 ≤ p < 0.93. 3) Если 0.93 ≤ p < 1, то 0.5 ≤ Pатт < 1 (от 50% до 100%). В этом случае аттестация может привести к положительному результату, а может и не привести. Причем вероятность положительного результата выше, нежели отрицательного. Можно сказать, что скорее всего в этом случае аттестация приведет к положительному результату. Определение 3. Область в ОДЗПС называется удовлетворительной, если для любого набора параметров из этой области 0.93 ≤ p < 1. 7) Если p = 1, то Pатт = 1. В этом случае в любом случае аттестация приведет к положительному результату. Определение 4. Область в ОДЗПС называется положительной, если для любого набора параметров из этой области p = 1. Значимость параметров аттестационного тестирования Определенные выше параметры системы тестирования обладают разной степенью влияния на изменение вероятности p. Ниже (рис.1-4) приведены графики зависимости вероятности успешной аттестации ВУЗа от каждого параметра при фиксированных средних значений других 5-и параметров. Рис.1 Значимость среднего уровня подготовленности группы Рис.2 Значимость среднего уровня трудности заданий теста Как видно из рис.1 и 2 изменение параметров системы θср, δср в диапазоне возможных значений приводит к изменению вероятности аттестации ВУЗа от 0 до 1. Поэтому параметры θср, δср можно считать значимыми для вероятности p. Для исследования значимости неоднородности по уровню подготовленности и уровню трудности заданий теста среднее значение уровня подготовленности было заменено на значения θср=55 и θср=60. Рис.3. Значимость неоднородности группы и неоднородности теста Как видно из рис.3 изменение параметров системы Δθmax, Δδmax в диапазоне возможных значений практически не изменяет величину p. Поэтому можно считать параметры Δθmax, Δδmax не значимыми для вероятности p. При этом из рис.3 наблюдается небольшое уменьшение вероятности p с ростом неоднородности. Для исследования значимости числа студентов в группе среднее значение уровня подготовленности было заменено на значения θср=55 и θср=60. Рис.4. Значимость числа студентов в группе на результаты аттестации Как видно из рис.4 значимость числа студентов выше значимости параметров Δθmax, Δδmax, но не выше значимости параметров θср, δср. Изменение числа студентов может привести к переходу набора параметров из одной аттестационной области в другую. Из рис.4 также видно: 1) в группах, средний уровень подготовленности θср которых равен 60, с ростом числа n студентов в группе, вероятность положительной аттестации все-таки незначительно увеличивается, 2) в группах, средний уровень подготовленности θср которых равен 55, с ростом числа n студентов в группе, вероятность положительной аттестации значительно уменьшается. Поэтому можно сделать следующий вывод: с ростом среднего уровня подготовленности группы меняется ориентация монотонности зависимости вероятности p от числа студентов (с убывания на возрастание). Для исследования значимости порога аттестации помимо среднего значения уровня подготовленности были использованы его значения θср=55 и θср=60. Рис.5. Значимость порога аттестации на результаты аттестации Как видно из рис.5 значимость порога аттестации выше значимости параметров Δθmax, Δδmax, но не выше значимости параметров θср, δср. Изменение порога аттестации может привести к переходу набора параметров из одной аттестационной области в другую. Из рис.5 также видно, что при любом среднем уровне подготовленности группы с ростом порога аттестации увеличивается значение вероятности p. Влияние параметров аттестации на ее результаты Выше определенные аттестационные области для постоянного набора параметров: n=25, pr=50%, δср = 50 %, Δδmax = 5% (средние значения параметров системы), изображены на рис.6 Рис.6. Аттестационные области в зависимости от параметров θср и Δθmax Точные значения вероятности p в зависимости от изменения параметров θср и Δθmax даются в таблице 1. Таблица 1. Значения вероятности p в зависимости от параметров θср и Δθmax θср/ Δθmax,1 0 3 6 9 12 15 18 21 24 27 30 55 0,13 0,12 0,11 0,07 0,18 0,14 0,22 0,26 0,16 0,23 0,29 56 0,36 0,41 0,34 0,29 0,31 0,34 0,34 0,32 0,37 0,4 0,4 57 0.74 0,57 0,64 0,63 0,59 0,55 0,59 0,55 0,58 0,56 0,47 58 0,9 0,86 0,86 0,81 0,81 0,79 0.72 0,75 0,61 0,66 0,75 59 0,96 0,97 0,97 0,94 0,91 0,92 0,89 0,84 0,85 0,81 0,74 60 0,99 1 0,99 0,97 0,96 0,98 0,98 0,96 0,89 0,89 0,87 61 1 1 1 1 1 1 0,99 1 0,95 0,93 0,9 62 1 1 1 1 1 0,99 1 1 0,98 0,99 0,99 63 1 1 1 1 1 1 1 1 0,99 0,99 0,97 64 1 1 1 1 1 1 1 1 1 1 1 Перед тем, как сделать выводы из рис.6 и таблицы 1, сделаем следующие замечания. 1) Учебные группы обычно бывают разнородными (есть “отличники”, есть и “двоечники”). Разнородность, оцениваемая в 10%, соответствует примерно одному баллу по пятибалльной шкале; исходя из этих данных, при Δθmax

Скачать электронную версию публикации