Методика определения сложности заданий по разделу «Алгебра логики» | Открытое и дистанционное образование. 2016. № 2(62).

Методика определения сложности заданий по разделу «Алгебра логики»

Предлагается методика определения сложности тестовых заданий по разделу дискретной математики «Алгебра логики». На основе оценок экспертов определяются факторы, которые наиболее сильно влияют на сложность задания, на основе методов корреляционного анализа определяется степень влияния этих факторов на сложность. Предлагается методика назначения уровня сложности задания и проводится исследование разработанной методики. Разработанная методика хорошо согласуется с интуитивными представлениями преподавателей о сложности заданий и может быть использована для оценивания знаний в вузе.

Method of determination of task complexity on «Algebra of logic».pdf Введение Алгебра логики изучается студентами всех технических направлений подготовки в рамках курсов дискретной математики, информатики, логики и т.п. При оценивании знаний студентов по алгебре логики используются задания на составление таблицы истинности или упрощение логических выражений. Однако при составлении заданий необходимо учитывать сложность выражений. На сегодняшний день не существует объективной методики оценивания трудности заданий по алгебре логики. На практике преподаватели используют интуитивные правила оценивания трудности задания: например, чем больше количество переменных и различных операций в задании, тем выше сложность задания. Цель исследования: разработка методики определения сложности задания. Для реализации поставленной цели должны быть выполнены следующие задачи: 1) на основе существующих заданий по алгебре логики определить факторы, которые наиболее сильно влияют на сложность задания; 2) разработать методику определения сложности заданий. В процессе разработки методики будет использован корреляционный анализ для оценивания влияния различных составляющих задания на его трудность. 1. Корреляционный анализ заданий по алгебре логики Для того чтобы определить зависимость уровня сложности заданий от различных факторов, рассмотрим задания, используемые в Муромском институте для итоговой аттестации студентов направления подготовки «Прикладная математика и информатика» по дисциплине «Дискретная математика». Выделим ряд факторов, от которых может зависеть сложность задания, введем обозначения: Х1 - количество знаков в задании, Х2 - количество переменных в задании, Х3 - число операций в задании, Х4 - количество операций «Конъюнкция», Х5 - количество операций «Дизъюнкция», Х6 - количество операций «Штрих Шеффера», Х7 - количество операций «Сумма по модулю 2», Х8 - количество операций «Импликация», Х9 - количество операций «Стрелка Пирса», Х10 - количество операций «Отрицание». Рассмотрим следующий пример: (xÚy)Ù(yÙyÚx). Здесь Х1 - количество знаков в задании - 13, включая скобки; Х2 - количество переменных в задании - 2 (x и y); Х3 - число операций в задании - 4; Х4 - количество операций «Конъюнкция» - 2; Х5 - количество операций «Дизъюнкция» - 2; остальные операции отсутствуют, поставим 0. Сложность задания была определена экспертами (преподавателями) в соответствии с интуитивными правилами: 1) чем больше количество переменных и различных операций в задании, тем выше сложность задания; 2) сложность задания необходимо увеличивать, если в задании встречается отрицание, относящееся к операциям, а не к переменным, в соответствии с этим задания, содержащие операции «Штрих Шеффера», «Сумма по модулю 2» и «Стрелка Пирса» имеют большую сложность, нежели задания с элементарными операциями. Сведем результаты анализа остальных заданий в табл. 1. Анализ факторов будем проводить методом корреляционного анализа. Корреляционный анализ - метод обработки статистических данных, позволяющий обнаружить зависимость между несколькими случайными величинами [1]. Корреляция - статистическая взаимосвязь двух или нескольких случайных величин (либо величин, которые можно с некоторой допустимой степенью точности считать таковыми). Математической мерой корреляции двух случайных величин служит коэффициент корреляции. Коэффициенты корреляции r посчитаем по формуле , где i - номер фактора; n - число исследуемых заданий. Поскольку исследуемых заданий достаточно мало, то есть вероятность, что обнаруженная взаимосвязь случайна, поэтому для исключения таких факторов используем корреляционную поправку: . Воспользуемся условием, если , то связь не случайна, иначе не будем учитывать взаимосвязь понятий. Результаты расчета сведем в табл. 2. Результаты расчетов показали, что взаимосвязь со сложностью задания наблюдается у таких факторов, как Х1 - количество знаков в задании, Х2 - количество переменных в задании, Х3 - число операций в задании, Х5 - количество операций «Дизъюнкция», Х9 - количество операций «Стрелка Пирса», Х10 - количество операций «Отрицание». 2. Методика назначения уровня сложности задания Прежде чем разрабатывать методику назначения уровня сложности задания, необходимо заметить, что часть значимых показателей можно объединить (в соответствии с величиной коэффициента корреляции) в две различные группы (рис. 1). Естественно предположить, что факторы, коэффициенты корреляции которых больше 0,9 (объединенные в группу 1), оказывают большее влияние на уровень сложности, чем факторы, объединенные в группу 2. Для учета этого введем два коэффициента: A1 = 2 и A2 = 1 для 1-й и 2-й групп факторов соответственно. Для расчета сложности задания используем методику: 1) для i-го задания подсчитаем суммарное количество знаков в задании, количество переменных в задании, число операций в задании и количество операций «Отрицание» (факторы группы 1): S1 = X1i + X2i + X3i + X10i; 2) для i-го задания подсчитаем суммарное количество операций «Дизъюнкция» и количество операций «Стрелка Пирса» (факторы группы 2): S2 = X5i + X9i; 3) рассчитаем сложность задания Y по формуле Y = A1S1 + A2S2; 4) для сравнения с оценками сложности задания, сделанными экспертами, пронормируем все значения сложности и приведем к шкале от 0 до 20: Yn = 20Y . Ymax 3. Исследование разработанной методики Для каждой приведенной в табл. 1 задачи сделаем расчет сложности заданий по разработанной методике, результаты расчетов сведем в табл. 3. Сравнение рассчитанных по разработанной методике значений сложности с экспертными оценками показало, что погрешность выставления сложности по методике не превышает среднеквадратичного отклонения (5,5) экспертных оценок. Это позволяет сделать вывод о том, что методика может быть использована для оценки сложности заданий по алгебре логики. Заключение Целью проведенной работы была попытка разработать методику объективного определения трудности заданий по алгебре логики. Анализ заданий по алгебре логики позволил определить, что на трудность наиболее сильно влияют: количество знаков в задании, количество переменных в задании, число операций в задании, количество операций «Дизъюнкция», количество операций «Стрелка Пирса», количество операций «Отрицание». В результате проведенных исследований была разработана методика оценивания сложности заданий по алгебре логики, которая позволяет объективно подсчитать уровень трудности заданий в интервале от 0 до 20 единиц. Такая широкая градация дает возможность более объективно оценивать знания студентов. Разработанная методика хорошо согласуется с интуитивными представлениями преподавателей о сложности заданий и может быть использована для оценивания знаний в вузе. Статистические данные Задача X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 Y 1 5 1 2 1 1 0 0 0 0 0 2 2 5 2 2 2 0 0 0 0 0 0 3 3 13 2 4 2 2 0 0 0 0 0 5 4 9 2 5 0 0 0 1 1 0 2 7 5 13 3 6 1 0 0 0 1 0 2 10 6 14 2 8 0 0 0 1 0 1 3 10 7 19 3 8 0 0 0 0 3 1 2 12 8 24 3 13 0 0 1 0 1 1 5 15 9 34 4 14 3 6 0 0 2 0 3 16 10 35 4 18 2 7 0 0 0 2 7 20 Таблица 2 Результаты расчета Задача X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 Y 1 5 1 2 1 1 0 0 0 0 0 2 2 5 2 2 2 0 0 0 0 0 0 3 3 13 2 4 2 2 0 0 0 0 0 5 4 9 2 5 0 0 0 1 1 0 2 7 5 13 3 6 1 0 0 0 1 0 2 10 6 14 2 8 0 0 0 1 0 1 3 10 7 19 3 8 0 0 0 0 3 1 2 12 8 24 3 13 0 0 1 0 1 1 5 15 9 34 4 14 3 6 0 0 2 0 3 16 10 35 4 18 2 7 0 0 0 2 7 20 r 0,95 0,92 0,98 0,10 0,62 0,30 -0,13 0,37 0,72 0,92 s 0,03 0,05 0,01 0,33 0,20 0,30 0,33 0,29 0,16 0,05 r/s 28,18 17,53 71,82 0,31 3,03 0,98 -0,41 1,27 4,50 18,59 Таблица 3 Расчет сложности заданий по разработанной методике Задача YЭ S1 S2 Y Yn Yn 1 2 8 1 17 2,481752 2 2 3 9 0 18 2,627737 3 3 5 19 2 40 5,839416 6 4 7 18 0 36 5,255474 5 5 10 24 0 48 7,007299 7 6 10 27 1 55 8,029197 8 7 12 32 1 65 9,489051 9 8 15 45 1 91 13,28467 13 9 16 55 6 116 16,93431 17 10 20 64 9 137 20 20

Ключевые слова

complexity determination method, correlation analysis, test complexity, методика определения сложности, корреляционный анализ, сложность тестовых заданий

Авторы

ФИООрганизацияДополнительноE-mail
Жагрова А.С.Муромский институт ФГОУ ВО «Владимирский государственный университет им. А.Г. и Н.Г. Столетовых»masmash@mail.ru
Рыжкова М.Н.Муромский институт ФГОУ ВО «Владимирский государственный университет им. А.Г. и Н.Г. Столетовых»masmash@mail.ru
Всего: 2

Ссылки

 Методика определения сложности заданий по разделу «Алгебра логики» | Открытое и дистанционное образование. 2016. № 2(62).

Методика определения сложности заданий по разделу «Алгебра логики» | Открытое и дистанционное образование. 2016. № 2(62).