Non-ADAPTIVE METHOD OF FUZZY SETS.pdf Современныe методы оценки знаний учащихся В предыдущих работах автора проводились исследования точности различных методов оценки знаний учащихся. В работе [5] были рассмотрены такие методы, как метод шкалирования, широко применяемый в ЕГЭ, и метод логарифма Раша, который оказался наиболее эффективным методом. Вкратце напомним эти методы. Классический метод шкалирования (КМШ) состоит в подборе функции зависимости тестового балла от первичного балла. В последнее время была использована следующая зависимость: где П - набранный первичный балл; Т - соответствующий первичному баллу П тестовый балл; Пмакс=32. Модифицированный метод шкалирования (ММШ) состоит в небольшой корректировке описанного выше метода шкалирования и дает значительный выигрыш в точности. При этом функция зависимости выглядит следующим образом: Используя эту модификацию, можно добиться выигрыша в точности примерно в 2,3 %. В качестве дополнительного контрольного метода был выбран метод логарифма Раша (МЛР) [4], который по точности, простоте и устойчивости является самым привлекательным из всех перечисленных выше и ниже методов. Алгоритм метода такой: 1) Входные данные: пусть K = ПБmax - максимальный первичный балл, θmax=5, M - число заданий теста,N - число участников тестирования, mj - максимальный балл, получаемый за решение j-го задания, j=1, …, M. 2) Вычисляются следующие вспомогательные величины: Nk - число учащихся, набравших ПБ = k первичных баллов, при этом , сj - первичный балл для j-го задания, равный количеству всех баллов, набранных всеми N участниками тестирования, , . 3) Вычисляются оценки ¯θk уровней подготовленности учащихся по формулам: ¯θ0= -θmax, ¯θK= θmax - уровни подготовленности для учащихся, набравших 0 и K первичных баллов. , k = 1, ... , K-1 - уровни подготовленности для учащихся, набравших k первичных баллов. 4) Вычисляются оценки ¯δj уровней трудности заданий по формулам: , j = 1,…, M - уровень трудности для j-го задания. 5) Оценки латентных параметров переводятся в тестовые баллы по формуле . Метод нечетких множеств (КМН) Очевидно, что выставляемые баллы участникам тестирования за решение задач теста не отражают действительную картину уровней знаний учащихся. Например, полученный нулевой балл за решение задачи совершенно не означает, что учащийся, решавший эту задачу, имеет «нулевые знания» по данной теме. Конечно, в этом случае необходимо заменить нулевую оценку на положительный (в смысле числа, большего нуля) балл. Но какой? Для корректировки выставляемых баллов можно использовать теорию нечетких множеств. Согласно этой теории необходимо рассмотреть лингвистическую переменную B =«балл, выставляемый учащемуся за решение задачи», с заданным терм-множеством: B0=B=0 - учащийся набрал за решение данной задачи 0 баллов, B1=B=1 - учащийся набрал за решение данной задачи 1 балл, ... Bm=B=max - учащийся набрал за решение данной задачи максимальное число баллов, которое устанавливается экспертами. Элементам этого множества соответствуют нечеткие множества, определенные на отрезке U=[0,1], с функциями принадлежности µi(x), i=0,…,m, примерные графики которых изображены на рис. 1. Каждому элементу терм-множества ставится в соответствие нечеткое множество, определенное на отрезке [0, 1], так как любой набранный балл B можно перевести в относительный балл по формуле u=B/max. Таким образом, введенные нечеткие множества на U (рис. 2) можно использовать для заданий теста с различными установленными максимальными баллами. Согласно теории нечетких множеств [3] вышеупомянутая лингвистическая переменная должна принадлежать семейству полных ортогональных семантических пространств (ПОСП). А именно, функции принадлежности, соответствующие элементам терм-множества лингвистической переменной, должны удовлетворять следующим свойствам: 1) для каждого Bi, i=0,…,m, существует непустое множество («неоспоримая зона») Ui={xєU: µi(x)=1}, которое является либо точкой либо отрезком; 2) любая функция µi(x), i=0,…,m, не убывает слева от множества Ui и не возрастает справа от этого множества; 3) функции µi(x), i=0,…,m, имеют не более двух точек разрыва первого рода; 4) для любого значения xєU существует хотя бы одна функция µi(x), i=0,…,m, для которой µi(x)≠0; 5) для любого значения xєU . Значение функции принадлежности µi(x), которое в теории нечетких множеств называется степенью принадлежности значения x нечеткому множеству Bi, можно понимать как вероятность того события Bi, что значение x принадлежит множеству Bi. Напомним, что степень принадлежности равна доле тех экспертов, которые причисляют данное значение x к множеству Bi, поэтому она равна относительной частоте, а значит, вероятности выше сформулированного события. В силу вероятностного понимания степени принадлежности можно прокомментировать сформулированные 5 свойств следующим образом: 1) для каждого балла Bi существуют «неоспоримые зоны» относительного балла, при появлении которого любой эксперт выставляет балл Bi; 2) двигаясь влево от «неоспоримой зоны» или вправо от нее, эксперты с меньшей уверенностью выставляют соответствующий балл; 3) баллы могут выставляться экспертами по заранее четко сформулированным правилам; 4) за любой набранный относительный балл хотя бы один из экспертов должен начислить определенное количество баллов; 5) за любой набранный относительный балл каждый из экспертов должен начислить определенное количество баллов. Заметим, что свойство 4 следует из свой-ства 5. В работе О.М. Полещук [3] рассчитаны формулы для функций принадлежности (см. рис. 1) при помощи Т-чисел, которые приведены ниже в алгоритме. Напомним, что толерантным (L-R)-числом называется нечеткое множество с функцией принадлежности вида которое символически записывается в виде µ(x)=(a1, a2, aL, aR). При этом отрезок [a1, a2] называется интервалом толерантности, а aL и aR - соответственно левым и правым коэффициентами нечеткости (L-R)-числа. Функция называется левой границей числа, а функция - правой границей. При aL=0 левая граница равна 0, а при aR=0 правая граница обращается в 0. При a1=a2 толерантное число превращается в унимодальное и обозначается как µ(x)=(a1, aL, aR). Если L(x)=R(x)=1-x, то (L-R)-число называется Т-числом, а унимодальное число называется нормальным треугольным числом. Отметим также, что алгоритм нечетких множеств является адаптивным алгоритмом в том смысле, что для построения функций принадлежности используются результаты тестирования в виде набранных первичных баллов. А именно, предварительно подсчитываются относительные частоты pij появления балла B=j при решении i-го задания, i=1,…,M (M - число заданий теста), j=0,…,max. Затем функции принадлежности формируются так, чтобы площади криволинейных трапеций, образуемых этими функциями, равнялись pij . Подробно алгоритм метода нечетких множеств изложен в работе [6]. При исследовании точности оказалось, что адаптация нечетких множеств по методу площади криволинейной трапеции выбрана неудачно. Предложена модификация адаптивного метода нечетких множеств (МНМ), использование которой позволяет повысить точность выставляемых оценок в среднем на 0,2 %. Адаптация нечетких множеств для этой модификации осуществляется по методу средней линии. Неадаптивный метод нечетких множеств (ННМ) В предыдущих методиках, основанных на теории нечетких множеств, производилась корректировка набранных баллов при помощи нечетких множеств, связанных с назначенными баллами. А именно, если задание оценивается одним баллом, то рассматривались нечеткие множества, образующие ПОСП (см. выше), соответствующие терм-множеству: B=0 (решение задания оценивается в нуль баллов) и B=1 (задание оценивается в один балл). Если задание оценивается в два балла, то рассматривалось семантическое пространство с тремя нечеткими множествами: B=0, B=1, B=2 и т.д. При этом корректировка производилась «под диктовку ближайшего нечеткого множества». Если количество заданных нечетких множеств невелико (B=0, B=1, …, B=m, m=1, 2, 3, 4), то и точность корректировки невысока. Эти рассуждения можно сравнить с округлением числа. Например, необходимо округлить число до ближайшего целого числа. Максимальное значение ошибки такого округления будет равно 0,5. Если округлять до десятых, то ошибка уменьшается до 0,05 и т.д. Из этого примера можно сделать вывод: чем больше вокруг «эталонных объектов» (числа округления или нечеткие множества), тем выше точность корректировки. Приведенные выше рассуждения наталкивают на мысль: вместо запланированных баллов, которых не так уж и много, ввести и использовать нечеткие множества, соответствующие как можно большему количеству искусственно введенных баллов. При этом использовать схему, пример которой изображен на рис. 2. Каждый такой набор нечетких множеств образует ПОСП (см. выше) и удовлетворяет свойствам: - левая и правая границы этих множеств образуются при помощи функций L(x)=R)x)=1-x; - крайние T-числа (левое и правое) являются толерантными с интервалами толерантности d0 и dm соответственно; - все внутренние T-числа являются унимодальными, для которых расстояния между вершинами графиков одинаковы и вычисляются по формуле . Если для корректировки набранных баллов рассматривать определенное выше семантическое пространство, то методика из адаптивной превращается в неадаптивную. В этом случае можно исследовать, что и было успешно выполнено, зависимость точности методики от двух факторов: - длины d=d0=dm крайних интервалов толерантности (фактор D), - числа m, определяющего количество искусственно введенных баллов за решение одного задания (фактор G). Опишем алгоритм неадаптивного метода нечетких множеств, позволяющего «подправлять» первичные баллы: 1) Вначале задаются числовые характеристики лингвистической переменной B - балл, выставляемый учащемуся за решение задачи, терм-множество которой описано выше: d и m, и вычисляется расстояние r=(1-2d)/m. 2) Вершины ломаной, определяющей график функции принадлежности для балла B0, задаются абсциссами a1=0, a2=d, a2+r (см. рис. 2), при этом соответствующая функция принадлежности имеет вид Вершины ломаной, определяющей график функций принадлежности для баллов Bk , k = 1, …, m-1, задаются абсциссами a1-r, a1, a1+r (см. рис. 2), где , и функция принадлежности задается формулой Вершины ломаной, определяющей график функции принадлежности для балла Bm, задаются абсциссами a1-r, a1, a2=1 (см. рис. 2), где a1=1-d, при этом функция принадлежности имеет вид 3) Для каждой функции принадлежности выполняется деффазификация по методу центра тяжести, выраженная числом Ek, k = 0,…,m: ; для k = 1, …, m-1 4) Производится «корректировка» набранного учащимся числа баллов B за i-е задание по формуле 5) Вычисляется сумма всех «исправленных» баллов: 6) Вычисляется тестовый балл ТБкор при помощи шкалирования, используемого в методах КМШ или ММШ (см. выше). Результаты исследований Исследования проводились в двух направлениях: - исследование влияния на точность фактора D; - исследование влияния на точность фактора G. Для первого направления исследований получены кривые зависимости (рис. 3) точности оценок от величины d=d0=dm, задающей длину интервалов толерантности для крайних нечетких множеств. При этом три кривые на рис. 3 соответствуют трем случаям: m=3, m=5, m=10. Комментарий к рис. 3: 1) При нулевом диапазоне точность наивысшая для всех трех случаев. 2) Точность при фиксированном значении m является неубывающей функцией от d. 3) С ростом m точность оценок растет. 4) Параллельно измерялись точности для методов КМШ (диапазон изменения точности от 7,01 до 7,12), ММШ (диапазон изменения точности от 4,64 до 4,69) и МЛР (диапазон изменения точности от 4,54 до 4,66). Для второго направления исследования получены кривые зависимости (рис. 4) точности оценок от числа m, определяющего количество искусственно введенных баллов, для трех случаев (при этом d=0): 1) cкорректированное количество баллов ПБкор преобразуется в тестовый балл так же, как в методике КМШ (на рис. 4 кривая обозначена как Ш); 2) cкорректированное количество баллов ПБкор преобразуется в тестовый балл так же, как в методике ММШ (на рис. 4 кривая обозначена как МШ); 3) первичный балл ПБкор вначале преобразуется в модифицированный первичный балл с учетом точного диапазона его изменения по формуле где (maxi - максимальное количество баллов, начисляемое за правильное решение i-й задачи теста), а затем преобразуется в тестовый балл так же, как в методике ММШ (на рис. 4 кривая обозначена как МШ+ТД). Комментарий к рис. 4: 1) Наиболее точным оказался неадаптивный метод МНМ для случая модифицированного шкалирования (см. выше), причем точность находится на уровне модифицированного адаптивного метода МНМ (4,5 %). 2) Наивысшая точность достигается для случая 1 при m=3, для случая 2 - при m=6, для случая 3 - при m=5. 3) Использование точного диапазона изменения для ПБкор позволяет стабилизировать точность, т.е. сделать ее независимой от числа m, определяющего количество нечетких оценок. 4) Для случаев 1 и 2 точность стабилизируется, начиная с m=3. Выводы Сравнивая результаты этой статьи с результатами, полученными в работе [6], можно сделать следующие выводы: 1) Неадаптивная модификация метода нечетких множеств позволяет повысить точность метода нечетких множеств приблизительно на 0,4 %. 2) Неадаптивная модификация метода нечетких множеств сравнима по точности с адаптивной модификацией, но ее реализация на практике является более простой. 3) Неадаптивная модификация метода нечетких множеств в точности практически не уступает методу логарифма Раша. 4) Учитывая независимость метода логарифма Раша от выбора функции шкалирования и других параметров, можно утверждать, что этот метод является наиболее удобным в использовании, не уступающим в точности методам, основанным на использовании нечетких множеств. В заключение статьи приведем таблицу эффективности различных методов оценки уровней подготовленности учащихся, в которой, помимо средней и максимальной погрешностей, приведена следующая информация: - требует ли данный метод шкалирования, т.е. преобразования первичных баллов в тестовые (предпоследний столбец), метод, не требующий шкалирования, является более независимым от различных характеристик тестирования, а значит, более надежным; - требует ли данный метод предварительную обработку результатов тестирования (последний столбец), метод, не требующий предварительной обработки, является более простым в исполнении, менее трудоемким. Точность различных методов оценки уровня подготовленности учащегося № п/п Метод Ср. погрешность, % Макс. погрешность, % Шкалиро-вание не требуется Обр. рез. тестир. не требуется 1 МЛР (метод логарифма Раша) 4,5 19 + + 2 МНМ (модификация метода нечетких множеств) 4,5 19 - - 3 ННМ (неадаптивный метод нечетких множеств) 4,6 19 - + 4 ММШ (модификация метода шкалирования) 4,6 22 - + 5 КНМ (классический метод нечетких множеств) 5 24 - - 6 КМШ (классический метод шкалирования) 6,9 27 - +

Скачать электронную версию публикации