Model development for results prediction of student testing in computer science based on the results of monitoring.pdf Понятие процесса тестирования Систематический, хорошо организованный контроль качественного уровня знаний студентов является одним из важнейших компонентов учебного процесса. В учебном процессе используются различные формы проверки знаний, например: устный опрос, самостоятельные, контрольные и курсовые работы, коллоквиумы, зачеты и экзамены и др. В настоящее время находит широкое распространение и такой метод контроля, как тестирование [1]. Термин «тестирование» восходит к английскому «test» - испытания, исследование. Можно сказать, что «test» - объективное и стандартизированное измерение, поддающееся количественной оценке, статистической обработке и сравнительному анализу. Под тестированием в широком смысле имеют в виду совокупность всех процедурных этапов, а именно: планирование, составление, апробацию, обработку и интерпретацию результатов первичного, предварительного теста - предтеста, перепланирование, оформление и подготовку спецификаций, инструкций окончательного теста. В узком смысле тестирование есть форма контроля (и обучения) с помощью проведения и использования теста. Цель тестирования - выявить уровень знаний студентов, оценить степень усвоения ими учебного курса и практического владения теоретическим материалом и определить на этой основе направления дальнейшего совершенствования работы с ними, а также стимулировать активность их самостоятельной работы. Тестирование, как и любая другая форма проверки уровня знаний и умений студентов, имеет свою специфику. Это объективная, оперативная, рациональная и удобная форма аттестации студентов; эффективный способ управления учебным процессом; средство систематизации знаний студентов, активизации их познавательной деятельности. Место тестирования в процессе обучения предмету «Информатика» в Брянском государственном техническом университете В учебном процессе по дисциплине «Информатика» для проведения оценки уровня усвоения учебного материала в течение учебного периода используются тесты, реализованные в программном учебно-методическом комплексе «УМК-А» [2, 3]. Данный комплекс разработан и внедрен в учебный процесс сотрудниками кафедры «Информатика и программное обеспечение» Брянского государственного технического университета. База данных вопросов содержит большое количество вопросов различной формы и сложности. Периодическое тестирование студентов позволяет своевременно оценивать текущий уровень усваивания учебных материалов и при необходимости корректировать образовательный процесс. Опыт применения тестирования указал на то, что затраты времени на проведение комплексной оценки успеваемости студентов в период аттестации могут быть существенно снижены за счет автоматизации процесса оценивания уровня подготовленности студентов к экзамену и предоставления результатов оценивания непосредственно студенту [4, 5]. Для детального представления места тестирования в учебном процессе разработана функциональная модель процесса обучения с использованием нотации IDEF0 [6], в которой подробно рассматривается функция «Процесс обучения». Процесс обучения условно представляется с помощью трех основных функциональных блоков (рис. 1): «Формирование начальных сведений об обучаемом», «Формирование учебных материалов», «Обучение». Анализируя диаграмму, можно сделать вывод, что процесс обучения целесообразно начинать с изучения данных об обучаемом, т.е. с анализа результатов обучения на предыдущем этапе и подготовки учебных материалов, которые будут ему понятны, с постепенным усложнением учебных материалов. На рис. 2. показана декомпозиция процесса «Обучение». Показанная модель имеет значительные упрощения, но ее основная цель - показать то, что контроль знаний - это такой процесс, который существует постоянно в ходе обучения. Именно этот процесс может формировать управляющие воздействия на обучение и именно этому процессу следует уделять значительное внимание в процессе обучения как обучающему, так и обучающемуся, результаты этого процесса могут существенно повлиять на все дальнейшее обучение. Традиционный подход к тестированию Проведенный анализ существующих подходов к тестированию позволяет утверждать, что независимо от того, какой вид или форма тестирования используется, какие при этом применяются технологии для проведения тестирования, какие используются средства и методы для оценки результатов, всегда имеет место быть процесс подготовки к тестированию либо в виде самоподготовки по имеющейся литературе, либо прохождения тестов по схожей тематике, представленных в общем доступе, либо комплексный подход. На диаграмме IDEF0 (рис. 3) показаны основные функции и потоки данных, имеющие место в процессе оценки знаний студентов при тестировании. Анализируя данную модель, которая является классическим отображением существующих процессов, можно сделать вывод, что со значительным ростом информационной нагрузки на обучающихся необходим эффективный контроль за процессом обучения и постоянный контроль за усвоением учебных материалов. Однако обеспечить аудиторный контроль со стороны учебных заведений, преподавателей затруднительно, особенно проблематичен контроль за материалами, изучаемыми самостоятельно. В связи с этим разработана модель управления процессом тестирования, имеющая функциональный блок, отвечающий за самоконтроль, при этом такая модель не является чем-то существенно новым (рис. 4), однако она позволяет обучаемому постоянно получать информацию об уровне своей подготовленности. Таким образом, в качестве новизны в процессе тестирования предлагается разработать математическую модель оценивания всех прошедших результатов тестирования, которая позволит, с одной стороны, обучающемуся контролировать уровень своих знаний и в случае отсутствия интереса к той или иной теме остановиться на первой доступной удовлетворительной оценке, имея уверенность в том, что полученных знаний достаточно для сдачи итогового теста. Или продолжить подготовку до достижения запланированного уровня с вероятностью сдачи итоговых тестов на предполагаемый результат. С другой стороны, получение подобной оценки может исключить из процессов тестирования, а в широком понимании и из процесса итоговой оценки полученных знаний тех, кто имеет недостаточную подготовку к текущей проверке. Так, для возможности оценить уровень подготовленности студента и использовать эту оценку в качестве прогнозной оценки сдачи итогового теста необходимо в процессе обучения обеспечить доступ студентов к тестовым заданиям, которые будут использованы в итоговом тесте. Очевидно, что предоставить студенту ограниченное количество вопросов итогового теста бессмысленно, однако, с другой стороны, целью обучения является формирование необходимых компетенций у обучающегося, и не важно, как это будет происходить. Так, обучающийся может внимательно изучать теоретические материалы с разбором каких-то практических задач, с другой стороны, обучающемуся можно предоставить доступ к заведомо большому количеству тестовых заданий, решая которые, он сможет получить необходимые знания. Такой подход эффективно зарекомендовал себя при обучении правилам дорожного движения. Таким образом, в учебном процессе дисциплины «Информатика» студенты периодически получают доступ к общей базе данных вопросов для прохождения тестирования по отдельным разделам. При этом содержание теста формируется случайным образом из заданий проверяемого раздела. Количество попыток тестирования зависит от амбиций обучающихся: одних устраивает первая же минимально допустимая оценка, другие стремятся достичь наивысшей. Аналогичный подход используется и при подготовке к результирующему тесту. Обучающий имеет неограниченный доступ к системе тестирования в домашних условиях, каждая новая попытка приводит к формированию теста случайным образом теперь уже из всей базы данных. Решая тесты, обучающийся готовится к итоговому тесту, зная, что чем больше попыток в процессе подготовки он сделает, тем меньше новых вопросов он увидит непосредственно при сдаче итогового теста. Таким образом, по накопленным данным по каждому студенту появляется возможность определить вероятность того, насколько успешной будет его следующая попытка. Алгоритм формирования итогового теста несколько отличается от предыдущих тем, что в нем делается упор на наиболее важные разделы с точки зрения преподавателя. По этим разделам задается большее количество вопросов, по менее важным - меньшее. Однако база данных вопросов используется единая. Таким образом, имея данные об алгоритме формирования теста для итоговой аттестации, а также об уровне изученности каждого раздела каждым обучаемым, полученном на основе решения тестов в процессе подготовки, появляется возможность определить вероятность успешного завершения теста. Доступность такого прогноза в процессе подготовки позволит студенту самостоятельно управлять процессом самоподготовки. Выбор математического аппарата для решения поставленной задачи Для вычисления вероятности [7] сдачи итоговых тестов предполагается использовать существующие данные о результатах прохождения студентом подготовительных тестов. Существующий математический аппарат для задач прогнозирования предлагает использовать различные подходы. Некоторые из них приведены и проанализированы ниже. Среднее арифметическое (часто называемое просто средним) - наиболее распространенная оценка среднего значения распределения. Она является результатом деления суммы всех наблюдаемых числовых величин на их количество. Для выборки, состоящей из чисел , формула среднего значения имеет вид где n - объем выборки, Ai - i-й элемент выборки. Классическое определение вероятности имеет вид P(A) = m/n, где m - число благоприятствующих событию исходов, n - число всех элементарных равновозможных исходов. Известными данными являются вероятности изученности каждого раздела, которые вычисляется по формуле где qi - число правильных ответов, qi - число всех заданных вопросов в тесте, i=1...n. По данной вероятности можно вычислить число правильных ответов в экзаменационном тесте. Для этого используем следующую формулу: где Zi - число всех вопросов из i-й темы в экзаменационном тесте, i=1...n. Простейшей формулой нахождения вероятности сдачи экзаменационного теста является Предположим, что изучение отдельного раздела - это событие A1... An (1…n - количество разделов) - эти события являются в большинстве случаев совместными, т.е. зависят друг от друга. Такое предположение вполне оправдано по следующим соображениям. Во-первых, для решения итогового теста нужно изучить все разделы учебного курса, так как экзаменационный тест состоит из вопросов, включенных в ранее изученные разделы. Во-вторых, работа над тестами по каждому разделу сказывается на вероятности решить экзаменационный тест. Указанные обстоятельства и обусловливают предположение о зависимости событий A1... An. Совместными называют два события в том случае, если при одном и том же испытании появление одного из них не исключает появления другого. Например, если А - это появление пяти очков при бросании игральной кости, а В - появление нечетного числа очков, то события А и В можно назвать совместными. Допустим, даны события А и В. Известно, что они совместны. Также даны вероятности этих событий и вероятность их совместного появления. Для того чтобы найти вероятность события А+ В (появится хотя бы одно из событий А и В), можно воспользоваться теоремой сложения вероятностей совместных событий: вероятность того, что появится хотя бы одно из совместных событий, равняется сумме вероятностей этих событий минус вероятность их совместного появления: Р(А + В) = Р(А) + Р(В) -Р(АВ). Используя полученную формулу, нужно обратить внимание на то, что события А и В могут быть как независимыми, так и зависимыми. Тогда для независимых событий запишется: Р(А + В) = Р(А) + Р(В)-Р(А)Р(В), а для зависимых: Р(А + В) = Р(А) + Р(В)-Р(А)РА(В). Данная формула справедлива и для совместных, и для несовместных событий. Отсюда можно предположить, что если в процессе подготовки выяснится, что какая-то тема изучена с вероятностью 86 %, то она будет сдана в экзаменационном тесте с той же вероятностью. Допустим, в результате испытания могут появиться n независимых в совокупности событий или некоторые из них. При этом вероятности появления каждого из этих событий даны. Для нахождения вероятности того, что наступит хотя бы одно из этих событий, воспользуемся следующей теоремой. Вероятность появления хотя бы одного из событий A1, А2,..., An, которые независимы в совокупности, равняется разности между единицей и произведением вероятностей противоположных событий ¯A1, ¯А2,..., ¯An: P(A) = 1-P(¯A1, ¯А2,..., ¯An) где P( ¯Ai) = 1- P(Ai), i = 1...n. Имея вероятности изученных тем и зная, что экзаменационный тест формируется случайным образом, необходимо учитывать то, что в этом тесте могут быть хорошо изученные и слабо изученные темы. Разработка алгоритма расчета Для разработки алгоритма расчета вероятности успешного прохождения итогового теста воспользуемся данными программного учебно-методического комплекса «УМК-А» для одного случайно выбранного студента по дисциплине «Информатика». Так, на рис. 5 показаны в процентах уровни усвоения 12 разделов (тем), изучаемых в рамках выбранного курса. Из рисунка видно, что выбор был сделан в пользу студента, имеющего среднюю успеваемость. Используя средства электронных таблиц, выполним расчеты прогнозов для различных подходов. Пусть A1... An - темы, изучаемые в процессе курса, P(Ai) - вероятность событий A1... An соответственно, i = 1...n. Среднюю вероятность сдачи теста можно вычислить по формуле Вероятность того, что учащийся сдаст экзаменационный тест, приближенно равна 74 %. Простейшая формула нахождения вероятности сдачи экзаменационного теста: Для данной формулы нам необходимо значение Zi. Пусть из каждой темы будет выбрано по 5 вопросов, тогда, зная вероятность сдачи каждой темы, вычислим, сколько правильных ответов может дать учащийся в итоговом тесте (рис. 6). Сумма всех правильных ответов равна 44,1, а сумма всех вопросов в тесте 60, разделив первое значение на общую сумму вопросов, получим 0,735. Это подтверждает вывод о том, что вычисленная вероятность приближенно равна среднему значению от всех вероятностей, так как по каждой теме мы выбрали одинаковое количество вопросов. Если по теме с малой вероятностью выбрать больше вопросов в экзаменационный тест, например, из тем 5 и 6 взять по 20 вопросов, то вероятность сдачи теста уменьшится. Выберем другое значение Zi. Например, по теме 5 будет 10 вопросов, а из темы 10 - 2, тогда вероятность сдачи будет следующая: И наоборот, если по теме с высокой долей изученности будет, например, 18 вопросов, а по теме с низкой - 2, то вероятность увеличится: Данная формула применима для большого количества вопросов. Применяем формулу Вычислим P( ¯Ai) = 1-P(Ai), i = 1...n (рис. 7) и сумму . Вычисляем произведения вероятностей по 2, 3 … 12 множителям (рис. 8). Вычитаем полученные значения из 1 и находим суммы по каждому столбцу (рис. 9). В результате получаем, что P(A)=0,82948826. То есть вероятность того, что студент сдаст экзаменационный тест, равна 83 %. Заключение Рассмотренные подходы для оценки вероятности сдачи экзаменационного теста справедливы лишь в том случае, если в экзаменационном тесте используются вопросы, схожие по сложности и содержанию с вопросами, предложенными для подготовки к тесту. Алгоритм, разработанный на основе теоремы о совместности событий, предполагается к реализации в программном учебно-методическом комплексе «УМК-А». Данный программный комплекс имеет достаточно развитую модель базы данных, которая способна хранить подробную информацию о прохождении теста конкретным студентом в конкретное время [2]. Результаты, полученные на основе этого алгоритма, позволят студентам оценивать свои возможности перед экзаменом и планировать процесс подготовки к экзамену. Полученный опыт применения тестирования и прогнозирования результата аттестации может успешно применяться в других дисциплинах.

Скачать электронную версию публикации