Adaptive method of fuzzy sets.pdf Обзор методов оценки знаний учащихся, исследованных автором в предыдущих работах. В предыдущих работах автора проводились исследования точности различных методов оценки знаний учащихся. В работе [5] были рассмотрены такие методы, как метод шкалирования, широко применяемый в ЕГЭ, и метод логарифма Раша, который оказался наиболее эффективным методом. Вкратце напомним эти методы. Классический метод шкалирования (КМШ) состоит в подборе функции зависимости тестового балла от первичного балла. В последнее время была использована следующая зависимость: где П - набранный первичный балл; Т - соответствующий первичному баллу П тестовый балл; Пмакс= 32. Модифицированный метод шкалирования (ММШ) состоит в небольшой корректировке описанного выше метода шкалирования, дающий значительный выигрыш в точности. При этом функция зависимости выглядит следующим образом: Используя эту модификацию, можно добиться выигрыша в точности примерно в 2,3 %. В качестве дополнительного контрольного метода был выбран метод логарифма Раша (МЛР) (см. [4]), который по точности, простоте и устойчивости является самым привлекательным из всех выше- и нижеперечисленных методов. Алгоритм метода такой: 1) Входные данные: пусть K = ПБmax - максимальный первичный балл, qmax=5, M - число заданий теста, N - число участников тестирования, mj - максимальный балл, получаемый за решение j-го задания, j=1, …, M. 2) Вычисляются следующие вспомогательные величины: Nk - число учащихся, набравших ПБ = k первичных баллов, при этом , сj - первичный балл для j-го задания, равный количеству всех баллов, набранных всеми N участниками тестирования, , . 3) Вычисляются оценки`qk уровней подготовленности учащихся по формулам: `q0 = -qmax, `qK = qmax - уровни подготовленности для учащихся, набравших 0 и K первичных баллов; , k = 1, . . . , K-1 - уровни подготовленности для учащихся, набравших k первичных баллов. 4) Вычисляются оценки `dj уровней трудности заданий по формуле , j = 1,…, M - уровень трудности для j-го задания. 5) Оценки латентных параметров переводятся в тестовые баллы по формуле . Описание метода нечетких множеств (МНМ) Очевидно, что выставляемые баллы участникам тестирования за решение задач теста не отражают действительную картину уровней знаний учащихся. Например, полученный нулевой балл за решение задачи совершенно не означает, что учащийся, решавший эту задачу, имеет «нулевые знания» по данной теме. Конечно, в этом случае необходимо заменить нулевую оценку на положительный (в смысле числа, большего нуля) балл. Но какой? Для корректировки выставляемых баллов можно использовать теорию нечетких множеств. Согласно этой теории необходимо рассмотреть лингвистическую переменную B =«балл, выставляемый учащемуся за решение задачи», с заданным терм-множеством: B0=«B=0» - учащийся набрал за решение данной задачи 0 баллов, B1=«B=1» - учащийся набрал за решение данной задачи 1 балл, ….. Bm=«B=max» - учащийся набрал за решение данной задачи максимальное число баллов, которое устанавливается экспертами. Элементам этого множества соответствуют нечеткие множества, определенные на отрезке U=[0,1], с функциями принадлежности µi(x), i=0,…,m, примерные графики которых изображены на рис. 1. Каждому элементу терм-множества ставится в соответствие нечеткое множество, определенное на отрезке [0, 1], так как любой набранный балл B можно перевести в относительный балл по формуле u=B/max. Таким образом, введенные нечеткие множества на U (см. рис. 1) можно использовать для заданий теста с различными установленными максимальными баллами. Согласно теории нечетких множеств [3] вышеупомянутая лингвистическая переменная должна принадлежать семейству полных ортогональных семантических пространств (ПОСП). А именно, функции принадлежности, соответствующие элементам терм-множества лингвистической переменной, должны удовлетворять следующим свойствам: 1) для каждого Bi, i=0,…,m существует непустое множество («неоспоримая зона») Ui={xєU: µi(x)=1}, которое является либо точкой, либо отрезком; 2) любая функция µi(x), i=0,…,m не убывает слева от множества Ui и не возрастает справа от этого множества; 3) функции µi(x), i=0,…,m имеют не более двух точек разрыва первого рода; 4) для любого значения xÎU существует хотя бы одна функция µi(x), i=0,…,m, для которой µi(x)¹0; 5) для любого значения xÎU . Значение функции принадлежности µi(x), которое в теории нечетких множеств называется степенью принадлежности значения x нечеткому множеству Bi, можно понимать как вероятность того события Bi, что значение x принадлежит множеству Bi. Напомним, что степень принадлежности равна доле тех экспертов, которые причисляют данное значение x к множеству Bi, поэтому она равна относительной частоте, а значит, вероятности сформулированного выше события. В силу вероятностного понимания степени принадлежности можно прокомментировать сформулированные 5 свойств следующим образом: 1) для каждого балла Bi существуют «неоспоримые зоны» относительного балла, при появлении которого любой эксперт выставляет балл Bi; 2) двигаясь влево от «неоспоримой зоны» или вправо от нее, эксперты с меньшей уверенностью выставляют соответствующий балл; 3) баллы могут выставляться экспертами по заранее четко сформулированным правилам; 4) за любой набранный относительный балл хотя бы один из экспертов должен начислить определенное количество баллов; 5) за любой набранный относительный балл каждый из экспертов должен начислить определенное количество баллов. Заметим, что свойство 4 следует из свойства 5. В работах О.М. Полещук (например, [3]), рассчитаны формулы для функций принадлежности (см. рис. 1) при помощи Т-чисел, которые приведены ниже в алгоритме. Напомним, что толерантным (L-R)-числом называется нечеткое множество с функцией принадлежности вида и символически записывается в виде µ(x)=(a1, a2, aL, aR). При этом отрезок [a1, a2] называется интервалом толерантности, а aL и aR - соответственно левым и правым коэффициентами нечеткости (L-R)-числа. Функция , называется левой границей числа, а функция , - правой границей. При aL=0 левая граница равна 0, а при aR=0 правая граница обращается в 0. При a1=a2 толерантное число превращается в унимодальное и обозначается как µ(x)=(a1, aL, aR). Если L(x)=R(x)=1-x, то (L-R)-число называется Т-числом, а унимодальное число называется нормальным треугольным числом. В работе [6] изложен алгоритм метода нечетких множеств применительно к тестированию, который обсуждается, например, в работе О.М. Полещук [3]. Этот метод является адаптивным алгоритмом в том смысле, что для построения функций принадлежности используются результаты тестирования в виде набранных первичных баллов. А именно, предварительно подсчитываются относительные частоты pij появления балла B=j при решении i-го задания, i=1, …, M (M - число заданий теста), j=0,…, max (max - максимальное число баллов, выставляемое за верное решение задания). Затем функции принадлежности формируются так, чтобы площади криволинейных трапеций, образуемых этими функциями, равнялись pij. Модификация метода нечетких множеств (МНМ*). В изложенном выше методе нечетких множеств функции принадлежности выстраивались таким образом, чтобы площади криволинейных трапеций, образованных их графиками, равнялись относительным частотам pij, i=1, 2, …, M, j=0, 1, …, m (вероятностям) появления соответствующих баллов при оценке результатов тестирования. Попытаемся ответить на вопрос: с какой целью выстраивались таким образом функции принадлежности? Очевидно, что объемные характеристики криволинейных трапеций должны зависеть от вероятностей pij, i=1, 2, …, M, j=0, 1, …, m. Но что это за характеристики? В работе [3] предпочтение было отдано площади криволинейной трапеции. Но с точки зрения автора это не совсем правильно. Какие рассуждения необходимо провести для того, чтобы отдать предпочтение площади? Эксперимент по выставлению балла за решения i-й задачи можно ассоциировать с «бросанием точки» в единичный квадрат (см. рис. 1). Тогда вероятность попадания точки в область трапеции CBEF будет по построению равна pij. Эта вероятность в действительности является вероятностью выставления соответствующего балла. Это означает, что попавшая точка в область CBEF ассоциируется с выставлением соответствующего балла. Однако эти рассуждения приводят к некоторым противоречиям. Во-первых, точка может попасть в треугольник ABS, и тогда в этом случае балл не будет выставлен за решение задачи, так как эта точка не попадет ни в одну из трапеций. Во-вторых, точка, попавшая в треугольник SDC, приведет к одновременному выставлению двух соседних баллов, что невозможно для тестирования. В этой статье автор предлагает в качестве объемной характеристики трапеции CBEF взять отрезок ST, являющийся средней линией трапеции, и положить его равным pij. В этом случае эксперимент по выставлению балла за решения i-й задачи можно ассоциировать с «бросанием точки» в единичный отрезок [0,1], на котором располагаются все не пересекающиеся между собой средние линии всех «трапеций» (рис. 2). Тогда вероятность попадания точки в интервал ST будет по построению равна pij. Попадание точки в среднюю линию трапеции можно ассоциировать с выставлением соответствующего балла, причем прежние противоречия исчезают. В качестве нечетких чисел B0, B1, …, Bm были взяты унимодальные (L-R)-числа, для которых левая и правая границы строятся при помощи ломаных линий (см. рис. 2). Итак, приступим к изложению алгоритма модифицированного метода нечетких множеств (МНМ*), позволяющего «подправлять» первичные баллы. После проведения тестирования проводится статистическая обработка полученной информации (первичных баллов) с целью получения частот pij (см. выше). 1) Для i-го задания строится лингвистическая переменная с функциями принадлежности, обладающими свойствами (для сокращения обозначим pij через pj, j=0, 1, …, m=max): - средняя линия каждой трапеции равна pj; - вершины ломаной, определяющей график функции принадлежности для балла B0, задаются абсциссами a1=0, a2=p0, a2+aR (см. рис. 2), где aR= p1/2; - вершины ломаной, определяющей график функций принадлежности для баллов Bk , k = 1, …, m-1, задаются абсциссами a1-aL, a1, 0,5(a1+a2), a2, a2+aR (см. рис. 2), где ; - вершины ломаной, определяющей график функции принадлежности для балла Bm, задаются абсциссами a1-aL, a1=1-pm, a2=1 (см. рис. 2), где aL= pm-1/2. Функции принадлежности задаются следующими формулами: для нечеткого балла B0 имеем для нечеткого балла Bk, k = 1, …, m-1, имеем для множества Bm имеем 2) Для каждой функции принадлежности вычисляется число Ek, k = 0, …, m, получающееся деффазификацией нечеткого числа по методу центра тяжести: для k = 1, …, m-1, 3) Производится «корректировка» набранного учащимся числа баллов B за i-е задание по формуле 4) Вычисляется сумма всех «откорректированных» баллов: 5) Вычисляется тестовый балл ТБкор при помощи шкалирования, используемого в методах КМШ или ММШ (см. выше). О программе, моделирующей процесс тестирования. Описанный выше алгоритм является частью компьютерной программы, моделирующей процесс тестирования ЕГЭ при помощи метода Монте-Карло. Обсудим некоторые наиболее важные элементы этой программы. 1) Моделирование входных данных Программа моделирует процесс тестирования для абитуриентов в количестве N = 500 учащихся и теста, состоящего из M = 20 заданий. Тест ЕГЭ в 2011-2013 гг. состоял из 14 заданий с max=1 (B1-B14), 2 заданий с max=2 (С1 и С2), 2 заданий с max=3 (С3 и С4) и 2 заданий с max=4 (С5 и С6). В начале программы моделируются истинные уровни подготовленности участников qi , i=1,…, N и истинные уровни трудностей заданий dj , j=1,…, M. Уровни подготовленности участников смоделированы как реализации нормальной случайной величины N(0,1) по формуле где FN(x) - функция распределения нормированной нормальной случайной величины, т.е. N(0,1), которая определяется по формуле: - обозначение функции, обратной к функции FN(ri). Значение обратной функции вычисляется в точке ri, представляющей собой очередную реализацию датчика случайных чисел на отрезке (0,1). В силу правила 3 сигм все реализации выше определенной случайной величины будут находиться в интервале: qi Î (-3; 3). Уровни трудностей заданий смоделированы как реализации нормальных случайных величин : dj Î N(-2; D), j=1,…,5, dj Î N(-1; D), j=6,…,10, dj Î N(0; D), j=11,…,14, dj Î N(1; D), j=15,…,16, dj Î N(2; D), j=17,…,18, dj Î N(3; D), j=19,…,20. В силу правила 3 сигм и малости D задания с одним номером в различных вариантах будут мало отличаться друг от друга. 2) Моделирование тестирования Для каждого абитуриента и для каждого задания вычисляются первичные баллы. Для этого по формуле (см. [1, 2]) вычисляется вероятность p, с которой i-й абитуриент правильно решает j-е задание. Затем абитуриенту начисляется первичный балл S за решение задания по формуле , где r - очередная реализация датчика случайных чисел на (0;1), max - максимальное число баллов за решение задачи, [x] - целая часть числа x. 3) Моделирование выходных данных Процесс ЕГЭ моделируется достаточно большое количество раз (число итераций Nit = 30). Для каждого моделирования вычисляются две характеристики: а) среднее отклонение sср оценки уровня подготовленности абитуриента от истинного значения этого латентного параметра, б) наибольшее отклонение smax оценки уровня подготовленности от истинного значения этого латентного параметра. Далее вычисленные характеристики усреднялись по всем итерациям. Результаты исследований. При помощи этого алгоритма проводились исследования зависимости точности метода нечетких множеств от удаленности значений E0 и Em от 0 и 1 соответственно. В таблице приведены значения точности для метода МНМ* в зависимости от величин D1 и D2: 0 % £ D1, D2 £ 100 %, которые характеризуют вышеупомянутые удаленности в соответствии с формулами E0,кор = E0(1 - D1/100), Em,кор = Em + (1 - Em) . D2/100. Для сравнения в каждой ячейке таблицы приведены точности методов ММШ, МЛР, МНМ*, которые расположены в каждой ячейке в указанном порядке. В дополнение к этой таблице вычислена точность для метода КМШ. В среднем точности для методов КМШ, МЛР и МНМ* (D1=80 % , D2=60 %) оказались следующими: 7,07; 4,59; 4,53. Основные выводы статьи 1) Точность метода МНМ* существенно зависит от удаленности «средних значений» E0 и Em крайних баллов от 0 и 1 соответственно. При этом наивысшая точность метода МНМ* достигается в том случае, если средние значения E0 и Em, вычисленные по методу центра тяжести, приблизить к 0 и 1 соответственно по формулам E0,кор = E0/5, Em,кор = 0.6 + 2 . Em/5. 2) Модификация метода нечетких множеств позволяет повысить точность в среднем на 0,2 % по сравнению с использованием классического метода (МНМ). 3) Модификация метода нечетких множеств в точности не уступает методу логарифма Раша. 4) Учитывая независимость метода логарифма Раша от выбора функции шкалирования, можно утверждать, что этот метод является наиболее удобным в использовании, не уступающим в точности остальным методам. Точность трех методов: ММШ, МЛР, МНМ* (для этого метода меняются средние значения для крайних баллов) D1\D2 (в %) 0 20 40 60 80 100 0 4,64 4,62 9,42 4,69 4,56 10,65 4,70 4,59 12,10 4,66 4,59 13,66 4,67 4,59 15,52 4,71 4,65 17,33 20 4,69 4,61 7,10 4,66 4,60 7,97 4,64 4,58 9,10 4,67 4,60 10,39 4,66 4,57 11,96 4,68 4,59 13,78 40 4,64 4,62 5,53 4,61 4,54 5,85 4,66 4,63 6,51 4,68 4,64 7,42 4,65 4,58 8,74 4,63 4,63 10,12 60 4,64 4,60 5,42 4,69 4,64 4,99 4,71 4,59 4,95 4,68 4,62 5,34 4,63 4,57 6,19 4,68 4,58 7,22 80 4,66 4,65 6,99 4,70 4,65 5,75 4,65 4,60 4,93 4,59 4,53 4,51 4,66 4,57 4,58 4,68 4,65 5,12 100 4,72 4,65 10,83 4,66 4,55 8,98 4,67 4,57 7,21 4,66 4,60 6,18 4,70 4,65 5,16 4,72 4,67 4,79

Скачать электронную версию публикации