Assessment of Students knowledge using theory of fuzzy sets.pdf В настоящее время мы наблюдаем интенсивное внедре-ние современных информационных технологий в процессобучения. Несмотря на разнообразие форм, неотъемлемойчастью их является проведение автоматизированного кон-троля качества освоения учебного материала. Особенно этоважно при отсутствии непосредственного контакта ученикаи учителя, например, при дистанционном обучении, при са-мообучении с помощью различных электронных материа-лов. Не случайно в комплект электронных материалов, под-держивающих традиционные формы обучения или предна-значенных для самообучения, как правило, включают кон-тролирующие компоненты (программные, программно-аппаратные).Чаще всего эта задача решается с помощью тестирова-ния. Предполагается, что тестирование, несмотря на про-стоту, позволяет достаточно точно оценить знания ученика,основная проблема заключается лишь в грамотной методи-ческой проработке комплекта тестов учителем-экспертом,знания которого реализуются в контролирующей про-граммной системе (или компоненте более общей системы).Несомненно, такая методическая проработка исключительдать ответ), он может решить ее последовательно почастям (этапам). Назовем это вторым уровнем выпол-нения задания. Аналогично определяем понятиетретьего уровня (если этап выполняется по частям) ит.д. (рис. 1). В частности, этапы (части) могут пред-ставлять собой тестовые задания, выполнение которыхв совокупности заменяют этап предыдущего уровня.2 уровеньЭтап 1 Этап 2 Этап . . . nЗадание 1 уровень3 уровень. . .Рис. 1. Многоуровневое выполнение заданияПереход на следующий уровень выполнения зада-ния осуществляется по инициативе системы (если данневерный ответ) или по инициативе ученика для каж-дого этапа (каждой части) в отдельности. Это означа-ет, что, выполняя задание, можно на любом этапе пе-рейти на следующий уровень, но после выполненияэтого этапа по частям снова производится автомати-ческий возврат на предыдущий уровень.Количество уровней для каждого конкретного зада-ния зависит от его особенностей. Могут быть задания,для которых предусмотрен только один уровень (зада-ние необходимо выполнить только сразу, этапов нет).На каждом уровне этапы (части) также могут предпо-лагать разное количество следующих уровней. Други-ми словами, какие-то части выполнения задания могутдробиться на еще более мелкие этапы, а какие-то и нет.Это закладывается в программную систему изначаль-но. Задание может быть выполнено на разном уровне.Допустимо отсутствие такого разбиения, в этом случаебудет учитываться лишь возврат к теории.Для сопоставимости оценок по заданиям, темам ивсему курсу в целом для всех заданий устанавливает-ся одинаковая, максимально возможная количествен-ная оценка F, которую получает ученик, если он далверный ответ, не обращаясь к помощи системы как потеории, так и по способу выполнения задания. Воз-врат к теории и обращение к системе за подсказкамипо поводу этапности выполнения приводит к автома-тическому уменьшению максимально возможнойоценки. Количественная оценка Q(z) за выполнениезадания zZ вычисляется по формулеQ(z)= { ( ( ) ( )), если ( ) ( ),0, в противном случае,F R z−mGG z R z >mGG zгде R(z) - величина, учитывающая этапность выпол-нения задания (0 ≤ R(z) ≤ 1); G(z) - коэффициент нака-зания за возврат к теории (0 ≤ G(z) ≤1), при G(z) = 0оценка не зависит от возвратов к теории, при G(z) = 1даже одно такое действие приводит к тому, что Q(z)станет нулевой; mG - количество возвратов к теории.Каждый возврат к изучению теории считается бо-лее негативным поступком, чем выполнение заданияпусть и по этапам, но самостоятельно. Поэтому ивлияние этого действия на оценку больше, чем этап-ность. Как только Q (z) становится равной нулю, вы-полнение задания прекращается.Далее будем иметь в виду, что вычисления произ-водятся для определенного задания zZ, и для сокра-щения записи указывать его не будем. Предполагает-ся, что наилучшее знание учебного материала ученикдемонстрирует, если ему не надо подсказывать, в ка-кой последовательности и какие именно этапы, дей-ствия, операции он должен выполнить, чтобы выпол-нить задание. Если система ему в этом подсказывает,то оценка может быть уменьшена. ПоэтомуR ={ (2) (2), если выполняется на 2-м уровне,1, в противном случае,K Sгде K(2) - коэффициент наказания за то, что задание невыполнено сразу (на первом уровне); чем он меньше,тем больше наказание, при K(2) = 1 наказания вообщенет, т.е. 0 < K(2) ≤ 1; S(2)- величина поощрения за по-этапное выполнение задания на следующем (втором)уровне, которая равна сумме поощрений (2)Dj за каж-дый выполненный j-й этап ( j =1, n2 ; n2 - количествоэтапов второго уровня), т.е. S(2) = 2 (2)1njjD= ƒ.Поощрение (2)Dj за каждый выполненный этап навтором уровне вычисляется аналогично оценке за всезадание ( (2)Dj = (2) (2)Fj Rj ), где (2)Fj - коэффициент, ха-рактеризующий вклад j-го этапа в выполнение всегозадания (0 < (2)Fj < 1); сумма этих коэффициентовдолжна быть равна единице, т.е. 2 (2)1njjF= ƒ= 1;(3) (3)(2) , если выполняется на 3-м уровне,1, в противном случае,j j jK S R ⎧ =⎨⎩где (3)K j - коэффициент наказания за то, что этап невыполнен сразу (на втором уровне), 0< (3)K j ≤1; (3)S j -величина поощрения за выполнение j-го этапа по час-тям на следующем (третьем) уровне, равная сумме по-ощрений за каждую выполненную часть этого этапа.При последующем разбиении выполнения этаповна части (этапы, действия, операции и т.п.) вычисле-ния производятся аналогично. На последнем уровневеличины поощрения выполнения каждой части рав-ны коэффициентам, выражающим вклады этих частейв выполнение этапа, который из них состоит.Итак, если задание выполняется без возврата к тео-рии и поэтапности, ученик получает максимальнуюоценку F. Если ученик не может выполнить заданиетаким образом, ему предлагается (или он сам так хо-чет) поэтапное решение. Однако оценка может бытьпри этом несколько снижена в соответствии с тем, на-сколько K(2) меньше единицы. Величина (2)Dj на вто-ром уровне отражает долю (вклад) j-го этапа в выпол-нении всего задания, их сумма S(2) равна единице, еслиэтот этап выполняется без последующего разбиения начасти. В противном случае S(2) может уменьшиться, чторегулируется коэффициентами K(j3) .Аналогичный принцип лежит в основе оцениванияи других уровней. На последнем уровне величина по-ощрения за выполнение каждой части равна соответ-ствующему коэффициенту, характеризующему вклад,поэтому их сумма равна единице. Например, пустьдля какого-либо j-го этапа второго уровня возможентретий уровень разбиения на n3,j частей и дальнейшееразбиение не предполагается. Тогда величина поощ-рения за выполнение каждой l-й части (3)Dj,l равна ко-эффициенту (вкладу) (3)Fj,l в выполнение j-го этапа.Поскольку3,j (3),1nj llF= ƒ= 1, то3, (3),1n jj llD= ƒ= 1.Таким образом, факт уменьшения оценки и вели-чина этого уменьшения определяется значениями со-ответствующих коэффициентов, которые задаютсяэкспертом-учителем при настройке программной сис-темы. Поэтому для количественного оценивания отэксперта-учителя по каждому заданию z  Z требует-ся следующая характеризующая его информация:- G - коэффициент наказания за откат к теории,0 ≤ G ≤ 1;- K(2) - коэффициент наказания за то, что заданиене выполнено на первом уровне, 0 < K(2) ≤ 1; чем онменьше, тем больше наказание, при K(2) = 1 наказаниявообще нет;- (2)Fj - коэффициенты, характеризующие вкладкаждого j-го этапа ( j = 1, n2 ; n2 - количество этаповвторого уровня) в выполнение всего задания,0 < (2)Fj < 1, 2 (2)1njjF= ƒ= 1;- (3)K j - коэффициенты наказания за то, что j-й этапне выполнен на втором уровне, 0 < (3)K j ≤ 1;- (3)Fj,l - коэффициенты, характеризующие вкладкаждой l-й части (l = 1, n3, j ; n3, j - количество частейтретьего уровня для j-го этапа) в выполнение j-го эта-па, 0 < (3)Fj,l < 1,3, (3),1n jj llF= ƒ= 1 и т.д. для остальныхуровней, если они предусмотрены.Эти коэффициенты позволяют учителю регулиро-вать влияние негативных факторов на величину оцен-ки по каждому заданию в отдельности. В результате,при выполнении разных заданий уменьшение оценкиможет происходить с различной скоростью. Если всекоэффициенты наказания K(2), (3)K j , … на всех уров-нях равны единице, то нет разницы, как выполнятьзадание, в целом или поэтапно, на оценку это не влия-ет. Величина R может оказаться меньше единицылишь в том случае, если какая-то часть задания вооб-ще не выполнена. Учет возвратов к изучению теорииопределяется величиной G. Для каких-то заданийучитель может даже задать эти коэффициенты так,что никакого наказания происходить не будет, а длядругих - так, что даже однократный возврат к теорииприведет к уменьшению оценки до нуля.КОЛИЧЕСТВЕННОЕ ОЦЕНИВАНИЕ ИЗУЧЕ-НИЯ ТЕМ И УЧЕБНОГО МАТЕРИАЛАВ ЦЕЛОМЗадания группируются по темам. По итогам ихвыполнения вычисляется количественная оценка Qwпо каждой теме w  W, а затем на основании полу-ченных Qw вычисляется итоговая оценка по всемуучебному материалу в целом.Задания могут быть разными по сложности, и ихвыполнение может требовать от ученика разный уро-вень освоения теоретического материала. Поэтомупри вычислении Qw учитываются оценки по всем за-даниям с разным весом. Эти веса v(z) отражают вкладвыполнения каждого задания zZw в Qw; 0 < v(z) < 1,( ) 1.z Zwv zƒ = Оценка Qw представляется взвешеннойсуммой оценок Q(z) за выполнение заданий z  Zw те-мы w  W, т.е.Qw = ( ) ( )z Zwv z Q zƒ .Заметим, что Qw ≤ F, причем Qw = F в том случае,если все задания решены правильно без возвратов ктеории и этапности выполнения.Важность и сложность тем так же может быть раз-личной, поэтому при вычислении общей оценки повсему учебному материалу учитывается вес (вклад)ƒ(w) каждой темы. Величины v(z) и ƒ(w) задаются экс-пертом-учителем при настройке программной системы.Оценка Q за изучение учебного материала в целомтакже вычисляется в виде взвешенной суммыQ = ƒ( ) ww Ww Q ƒ,где ƒ(w) - вес (вклад) выполнения всех заданий потеме w  W в изучение учебного материала в целом,0 0, ƒ > 0 - левый и правый коэффици-енты нечеткости.В частности, если в качестве L и R использоватьодну и ту же функцию, то нечеткое множество будетопределяться ее видом и двумя параметрами (a и ƒ).Например, такой функцией может быть, 2( ) 1 ,1La uu aƒ =+ ⎛⎜⎝ ƒ− ⎞⎟⎠(1)где a - мода, т.е. такое a  U, для которого La,ƒ(a)== maxu U La,ƒ(u); ƒ - коэффициент нечеткости. Заметим,что La,ƒ(u) - симметричная унимодальная функция,принимающая значения в интервале [0, 1], причемLa,ƒ(a) = 1. Тогда нечеткие множества, соответствую-щие первичным термам, определяются функциямипринадлежностиƒплохо(u) = { 11, 11, если ,a ( ), если ,u aL ƒu u a≤≥ƒудовлетв(u) = La2 ,ƒ(u), (2)ƒхорошо(u) = La3 ,ƒ(u),ƒотлично(u) = { 4, 44( ), если ,1, если .La u u au aƒ ≤≥Каждое нечеткое множество определяется своимзначением моды ai (i = 1, 2, 3, 4), вычисляемой поформуле(2 1),i 2Ta F in= − (3)где F - максимально возможная оценка; nT - мощностьбазового терм-множества T, т.е. количество первичныхтермов (в данном случае 4). Заметим, что все нечеткиемножества нормальны. Вид функций принадлежностиэтих нечетких множеств представлен на рис. 3.ƒ1ua1 a2 a3 a4 Fƒплохо ƒудовлетв ƒхорошо ƒотличноРис. 3. Функции принадлежности первичных термовКоэффициент нечеткости ƒ характеризует неопре-деленность значений базового терм-множества отно-сительно друг друга. Это проявляется в том, насколь-ко много элементов, которые, хотя и в разной степе-ни, могут быть отнесены сразу к нескольким нечет-ким множествам. Графически это показано на рис. 4,на котором вариант б отличается большим значениемƒ в сравнении с а.1ƒ1ai ai+1 uƒбai ai+1 uаРис. 4. Функции принадлежности при разных ƒПоясним это более строго. Пусть для нечеткихмножеств A и B, соответствующих соседним элемен-там множества T (соседним базовым значениям лин-гвистической переменной), задан уровень ƒ (0> 0,5. Другими словами, u* принадлежит обычномумножеству, ближайшему (в смысле евклидова рас-стояния) к такому C*, что *( *) C ƒ u = maxCℜƒC(u*). По-лученное значение лингвистической переменной по-казывается пользователю в качестве окончательногорезультата оценивания его работы по выполнению за-дания, темы, учебного материала в целом.

Скачать электронную версию публикации