Variance analysis of results of mathematical knowledge mastering at technical college.pdf В связи с вхождением российской системы высшего образования в Болонский процесс становятся актуальными качество высшего образования [1] и, в частности, оценка качества образования на этапах приема в вуз и процесса обучения в вузе.В работе [2] проведен компьютерный статистический сравнительный анализ результатов вступительных испытаний (ВИ) по математике с результатами традиционного входного контроля (ВК) математических знаний, а в работе [3] - результатов ВК математических знаний с результатами текущего контроля (ТК) с использованием в основном парных критериев сравнения выборок (групп) типа t-критерия Стьюдента. В данной работе сравнительный статистический анализ результатов ВИ, ВК и ТК проведен на основе дисперсионного анализа, позволяющего проверять значимости различия между группами с помощью сравнения внутригрупповых и межгрупповых дисперсий. Дисперсионный анализ результатов ВИ рассмотрен в работе [4]. Дисперсионный анализ применяется как при исследовании качества усвоения математических знаний [5], так и в составе методов прикладной статистики в оценке мониторинга качества высшего образования [6]. Причем мониторинг рассматривается не просто как инструмент оценки качества высшего профессионального образования, а как средство управления этим качеством, делающее управление образовательным процессом эффективным. В Томском политехническом университете (ТПУ) в последние годы [7] проводились ВИ по математике в разных формах испытаний (ФИ): ЕГЭ, олимпиада (Ол), вступительный экзамен (Экз). В ТПУ наряду с ВИ проводится ВК математических знаний школьной программы на основе аудиторной контрольной работы с проверкой ее преподавателями. Задание ВК содержит 6 задач средней сложности (типа группы «В» в билетах ЕГЭ). С 2004 г. ТПУ участвует в эксперименте по организации учебного процесса с использованием кредитно-рейтинговых оценок освоения образовательных программ в соответствии с положениями Болонской декларации, что позволяет на основе рейтинговой системы оценки математических знаний студента проводить ТК в течение семестра (тематические контрольные работы или ежемесячные аттестации) и экзаменационный (ЭКЗ) контроль в конце семестра. В связи с этим представляет интерес сравнение результатов ВИ, ВК и ЭКЗ. Все результаты были приведены к 5-балльной шкале. Созданная таким образом база данных использовалась далее в пакете Statistica для дисперсионного анализа данных [8, 9]. К 2008 г. в кредитно-рейтинговом эксперименте участвовали студенты трех технических подразделений (ФАК): электротехнический институт (ЭЛТИ), факультеты - электрофизический (ЭФФ) и автоматики и вычислительной техники (АВТФ). В данном случае используется ограниченное представление о факторе ФАК как о принадлежности студента к подразделению обучения, оценивается влияние этого фактора на результаты усвоения (приобретения) студентами математических знаний. Средства однофакторного дисперсионного анализа позволяют сравнить результаты ВИ этих подразделений между собой, а также с результатами ВИ ФАК в составе этих 3 и ТПУ в составе 9 технических подразделений. Характеристики выборок - объем n, медиана Ме, минимум Мин, максимум Макс, нижняя квартиль (25% процентиль) и верхняя квартиль (75% процентиль) - результатов ВИ студентов ТПУ, АВТФ (без 3 групп), ЭЛТИ (без 4 групп), ЭФФ, ФАК, участвовавших во ВК, и ФАК# (часть студентов ФАК, успешно (не отчисленных) изучивших 3-семестровый курс высшей математики) приведены в табл. 1. Наблюдаемые распределения (диаграммы размаха) этих выборок изображены на рис.1.Таблица 1. Характеристики выборок результатов ВИ студентов ТПУ, АВТФ, ЭЛТИ, ЭФФ, ФАК и ФАК#nМеМинМакс25%75%ТПУ16003,150,605,002,653,75АВТФ2003,480,855,002,903,95ЭЛТИ2863,250,854,752,503,75ЭФФ1883,151,254,602,653,70ФАК6743,250,855,002,653,80ФАК#4773,401,255,002,903,85Рис. 1. Линейные графики медиан с диаграммами размаха выборок результатов ВИ студентов ТПУ, АВТФ, ЭЛТИ, ЭФФ, ФАК и ФАК# 2008 г.Заметим, что, согласно теории измерительных шкал, балльная шкала относится к типу порядковых шкал, позволяющих ранжировать (упорядочить) объекты, оценить качественно результаты на уровне отношений "" и "=", но не допускающих возможности введения эталонной единицы измерений для количественного измерения различий объектов, т.е. балльная шкала не является числовой измерительной шкалой. Поэтому в балльной шкале использование операции среднего арифметического (и прочих конкретных математических формул), а также оперирование средним баллом для сравнения является некорректным. В балльной шкале обоснованным является использование медиан в качестве средних баллов. В связи с этим для сравнения рассматриваемых выборок предлагается использовать ранговые (непараметрические) критерии, основанные на рангах, а не на средних значениях. Однако полностью игнорировать средние арифметические нецелесообразно из-за их привычности и распространенности. Хотя согласно теории измерительных шкал использовать среднее арифметическое в порядковой шкале некорректно, однако, оказывается, можно в какой-то мере реабилитировать среднее арифметическое, если перейти к вероятностной постановке сравнения выборок большого объема [10, 11]. Поэтому представляется рациональным использовать одновременно оба метода - метод средних арифметических рангов (баллов) и метод медианных рангов. Такая рекомендация находится в согласии с общенаучной концепцией устойчивости [10, 11], рекомендующей применять различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при разных методах. Поэтому в данной работе проводится сопоставление результатов исследования непараметрическими и параметрическими критериями.На основании однофакторного дисперсионного анализа оценивается значимость неоднородности результатов ВИ по совокупности факультетов. Ранговые критерии (критерий Краскела-Уоллиса и медианный тест) приводят к выводу о сильно значимых различиях (на уровне значимости рКУ ≈ 0,002 и рМТ ≈ 0,004 соответственно) результатов ВИ по совокупности факультетов. Заметим, что применение параметрического F-критерия дисперсионного анализа приводит также к выводу о статистически значимой неоднородности (на уровне значимости рF ≈ 0,011) результатов ВИ по факультетам, т.е., иначе (некорректно) выражаясь, значимых различиях средних баллов m ВИ по совокупности факультетов. Уровень значимости парной неоднородности результатов ВИ по факультетам оценен с помощью критерия Краскела-Уоллиса (левонижний треугольник табл. 2) и апостериорного критерия наименьшей значимой разности (НЗР) (правоверхний треугольник табл. 2), эквивалентного t-критерию для числа независимых выборок больше двух. Таблица 2. Уровни значимости р парной неоднородности результатов ВИ по факультетам согласно критериям Краскела-Уоллиса (слеваснизу) и НЗР (справасверху).ТПУАВТФЭЛТИЭФФФАКТПУ0,0010,900,520,22АВТФ0,00020,0050,0030,02ЭЛТИ0,950,0030,650,36ЭФФ0,560,0010,550,20ФАК0,110,010,350,13Рис. 2. Составная гистограмма распределения результатов ВИФАК и ВК ФАК 2008 г.При проверке однородности двух выборок результатов ВИ по факультетам выводы на основе рангового критерия Краскела-Уоллиса подтверждаются совокупностью парных ранговых критериев. Так, например, случай неоднородности результатов ВИ по АВТФ и ЭФФ на фоне критерия Краскела-Уоллиса (рКУ ≈ 0,001) подтверждается парным ранговым критерием серий Вальда-Вольфовица (р ≈ 0,005), критерием Манна-Уитни (р ≈ 0,001) и двухвыборочным критерием Колмогорова-Смирнова (р < 0,005), что по совокупности парных ранговых критериев соответствует выводу на основании параметрического критерия НЗР (р ≈ 0,003). Таким образом, выборки результатов ВИ по ТПУ, ФАК, ЭЛТИ и ЭФФ можно считать однородными (р > 0,10) в противовес выборке по АВТФ. На этом основании далее вместо ТПУ рассматривается ФАК.Результаты ВИ в рамках ФАК можно сравнивать с результатами ВК (см. рис. 2) в смысле контроля остаточных знаний с помощью парных ранговых критериев (Вилкоксона и знаков) для зависимых выборок, что приводит к выводу о высочайшем уровне значимости различий (на уровне значимости р < 10-17). При этом результаты ВК хуже результатов ВИ, что трактуется как неподтверждение результатов ВИ результатами ВК. Тот же уровень значимости различий результатов ВИ и ВК дает и t-критерий для зависимых выборок. При сравнении результатов ВИ и ВК в смысле форм контроля знаний с помощью рангового критерия Краскела-Уоллиса или параметрического F-критерия для независимых выборок приходим к тому же выводу.Сравнение результатов ВИ и ВК проведено также в зависимости от (кроме вышеперечисленных ФИ и ФАК) форм обучения (ФО): бюджетной (Б), целевой (Ц) и коммерческой (К), а также от места получения среднего образования (МОУ): Томск+Северск (ТС), Томская область (То), регионы РФ (РРФ) и Казахстан (Ка). Таким образом, в данной работе рассматривается 4-факторная дисперсионная модель (3-уровневые факторы «ФАК», «ФИ», «ФО» и 4-уровневый фактор «МОУ»). Средствами однофакторного дисперсионного анализа исследовано влияние каждого фактора на значимости различий результатов ВИ и ВК. Применение непараметрического критерия Краскела-Уоллиса, равно как и параметрического F-критерия, приводит к выводу о сохранении высоко значимых различий (на уровне р < 0,0005) результатов ВИ и ВК на всех уровнях каждого из 4 факторов. В случае выборки успешных студентов ФАК# выводы аналогичные. Так, например, результаты ВИ и ВК в случае ЕГЭ# (рис. 3) различаются высокозначимо на уровне pКУ ≈ 0,00004 по непараметрическому критерию Краскела-Уоллиса и на уровне pF ≈ 0,000001 по параметрическому F-критерию.Рис. 3. Линейные графики медиан с диаграммами размаха выборок результатов ВК и ВИ по ФИ# Рис. 4. Линейные графики медиан с диаграммами размаха выборок результатов ВК и ВИ по ФИ#*МОУ#Многофакторный дисперсионный анализ позволил исследовать взаимодействия между факторами и выявить влияния различных сочетаний факторов друг с другом на значимости различий результатов ВИ и ВК. Были рассмотрены простейшие варианты парного взаимодействия между факторами ФАК и ФИ, МОУ и ФИ (рис. 4 - в рамках выборки успешных студентов ФАК#), ФО и ФИ, то есть изменения влияния фактора ФИ под воздействием других факторов ФАК, МОУ и ФО. Заметим, что в 2-факторной дисперсионной модели в основном по-прежнему демонстрируются неподтверждения результатов ВИ результатами ВК. Немногочисленные подтверждения результатов ВИ результатами ВК на отдельных уровнях парного воздействия факторов в рамках выборки успешных студентов ФАК#, т.е. случаи незначимых (р > 0,10) различий результатов ВИ и ВК, сведены в табл. 3, где для сравнения приведены также соответствующие параметры в рамках выборки ФАК. Таблица 3. Уровни значимости pКУ и pF различий результатов ВИ и ВК в 2-факторной дисперсионной модели для выборок ФАК# и ФАК (случаи подтверждения результатов ВИ результатами ВК)Уровни факторовФАК#ФАКn#p#КУp#FnpКУpFОЛ*К60,140,10130,0230,015ОЛ*Ц130,700,32190,230,04Экз*К30,830,8940,770,70ЕГЭ*ТС820,200,061330,00040,0001ЕГЭ*Ка90,270,45140,200,29Экз* ТС20,440,6760,050,04ЕГЭ*АВТФ750,230,141130,030,01Экз*АВТФ60,080,1490,0190,021Согласно табл. 3, в случаях малочисленных выборок ОЛ*Ц, Экз*К и ЕГЭ*Ка (всего 37 студентов ФАК) результаты ВИ подтверждены результатами ВК (рКУ > 0,10) даже в рамках выборки студентов ФАК. Другое дело с многочисленными выборками. Так, например, среди 133 томичей, поступивших в ТПУ по результатам ЕГЭ (выборка ЕГЭ*ТС в рамках ФАК) и не подтвердивших высокозначимо (р < 0,0005) по совокупности эти результаты в ВК, выделены 82 успешных студента (выборка ЕГЭ#*ТС# в рамках ФАК#), результаты ВК которых отличаются от результатов ЕГЭ незначимо (p#КУ ≈0,20) по непараметрическому критерию Краскела-Уоллиса и слабозначимо (p#F ≈0,06) по параметрическому F-критерию. Таким образом, отчисленные по результатам первых трех семестров 51 студент из 133 обозначены еще в начале первого семестра посредством сравнительного статистического анализа результатов ВИ и ВК, причем 35 студентов из 51 учились на бюджетной и целевой основе.Заметим, что сглаживанию различий результатов ВИ и ВК могли бы способствовать усиление контроля за соблюдением правил проведения ВИ, с одной стороны, и придание официального статуса ВК в целях повышения серьезного отношения к нему - с другой стороны.При исследовании динамики успеваемости по математике возможны варианты выбора зависимых выборок, например, результаты ВИ и ЭКЗ (по выборке студентов ФАК, участвовавших во ВК), ВИ# и ЭКЗ# (по выборке студентов ФАК#, участвовавших во ВК и успешно изучивших 3-семестровый курс высшей математики) или ВИ^ и ЭКЗ^ (по выборке студентов ФАК^, участвовавших во ВК и отчисленных по результатам 3 семестров). При этом отчисленные ранее студенты в ЭКЗ оформлены с нулевым результатом. Заметим, что различия между результатами ВИ и ВИ# (см. табл. 1) оцениваются как сильно значимыми (р ≈ 0,001 по t-критерию для двух независимых выборок и р ≈ 0,006 по его непараметрическому аналогу U-критерию Манна-Уитни). Значительным является и число отчисленных за 3 семестра (197 студентов), причем основной причиной отчисления является академическая неуспеваемость [7].Для сравнения результатов ВИ, ЭКЗ2 и ЭКЗ3 применялся дисперсионный анализ с повторными измерениями. Переменные ВИ, ЭКЗ2 и ЭКЗ3 составляют при этом 3-уровневый фактор повторных измерений (ФПИ). Применение непараметрического (рангового) дисперсионного анализа Фридмана, а также (для сравнения) F-критерия однофакторного дисперсионного анализа с повторными измерениями позволило выявить высокозначимые (на уровне р < 0,0005) различия между результатами ВИ, ЭКЗ2 и ЭКЗ3, отражающие отрицательную динамику успеваемости по математике по общей выборке студентов ФАК. При этом даже результаты ЭКЗ2 и ЭКЗ3 различаются значимо (на уровне р < 0,01), что свидетельствует о значительном количестве отчисленных даже в 3-м семестре. Аналогичные результаты получены в случае выборки отчисленных студентов ФАК^. В случае ФАК# ранговый дисперсионный анализ Фридмана, равно как и F-критерий, также выявили высокозначимые различия результатов ВИ#, ЭКЗ#2 и ЭКЗ#3 за счет высокозначимого отличия результатов ВИ# от ЭКЗ#2 и ЭКЗ#3, что отражает положительную динамику успеваемости по математике по выборке успешных студентов ФАК# . При этом результаты ЭКЗ#2 и ЭКЗ#3 различаются незначимо (р > 0,10). В данном случае положительная динамика успеваемости по математике по выборке успешных студентов ФАК# и отрицательная динамика отчисленных студентов ФАК^ порождают отрицательную динамику успеваемости по математике по общей выборке студентов ФАК, что свидетельствует о существенном вкладе выборки отчисленных студентов ФАК^ в общую выборку студентов ФАК.Учет влияния факторов ФАК, МОУ, ФИ и ФО и их взаимодействий на ФПИ отражает в разной степени общую отрицательную динамику успеваемости по математике по общей выборке студентов ФАК. Так, например (рис. 5, 6), если (в рамках рангового дисперсионного анализа Фридмана) в случае Ол или Ол*ТС различия между результатами ВИ, ЭКЗ2 и ЭКЗ3 остаются высокозначимыми (на уровне р < 0,0005), то в случае ЕГЭ или Ол*Ка - уже статистически значимыми (на уровне р ≈ 0,01), а в случае ЕГЭ*ТС или ЕГЭ*Ка - незначимыми (р > 0,10). Рис. 5. Линейные графики медиан с диаграммами размаха выборок результатов ФПИ*ФИ Рис. 6. Линейные графики медиан с диаграммами размаха выборок результатов ФПИ*ФИ*МОУ В случае выборки успешных студентов влияние факторов ФАК#, МОУ#, ФИ# и ФО# на ФПИ# оказалось разнообразным как по уровню значимости, так и по направленности динамики на разных уровнях значимых факторов. Так, например (рис. 7), сравнение результатов ВИ#, ЭКЗ#2 и ЭКЗ#3 в рамках рангового дисперсионного анализа Фридмана демонстрирует высокозначимую положительную динамику успеваемости в случае ЕГЭ# (245 студентов), статистически значимую отрицательную динамику успеваемости в случае Ол# (184 студента) и незначимую - в случае Экз#. Если учесть, что результаты ВИ# по ЕГЭ# и Ол# различаются высокозначимо по ранговому критерию Краскела-Уоллиса, а результаты ЭКЗ#2 (или ЭКЗ#3) по ЕГЭ# и Ол# различаются незначимо, то можно сделать вывод о том, что результаты ВИ# по Ол# значимо и неоправданно завышены , а результаты ВИ# по ЕГЭ# значимо занижены в сравнении с результатами ЭКЗ#. Дополнительный учет влияния фактора МОУ# на ФИ# (рис. 8) оценивает различия результатов ВИ#, ЭКЗ#2 и ЭКЗ#3 как высокозначимые в случае ЕГЭ# *ТС#, статистически значимые в случаях ЕГЭ# *Ка# и Ол# *ТС#, а в случае Ол# *Ка# - как незначимые.Рис. 7. Линейные графики медиан с диаграммами размаха выборок результатов ФПИ#*ФИ#Рис. 8. Линейные графики медиан с диаграммами размаха выборок результатов ФПИ#*ФИ#*МОУ#Выводы1.Отличия результатов ВИ по математике в ТПУ 2008 г. от соответствующих результатов ВК являются высокозначимыми для каждого из 4 факторов (ФАК, ФИ, ФО и МОУ). При этом результаты ВК хуже результатов ВИ, что трактуется как неподтверждение результатов ВИ результатами ВК. В 2-факторной дисперсионной модели в основном по-прежнему демонстрируются неподтверждения результатов ВИ результатами ВК. К немногочисленным подтверждениям результатов ВИ результатами ВК на отдельных уровнях парного воздействия факторов, т.е. случаям незначимых различий результатов ВИ и ВК, относятся ОЛ*Ц, Экз*Ка и ЕГЭ*Ка, а также ЕГЭ#*ТС#, ЕГЭ#*АВТФ#, ОЛ#*Ка#, Экз#* ТС# и Экз#*АВТФ#.2.Динамика успеваемости по математике в рамках общей выборки студентов (сравнение результатов ФПИ: ВИ, ЭКЗ2 и ЭКЗ3) является высокозначимой и отрицательной. Учет влияния факторов ФАК, МОУ, ФИ и ФО и их взаимодействий на ФПИ отражает в разной степени общую отрицательную динамику успеваемости по математике по общей выборке студентов ФАК. Так, например, если в случае Ол или Ол*ТС различия между результатами ВИ, ЭКЗ2 и ЭКЗ3 остаются высокозначимыми, то в случае ЕГЭ или Ол*Ка - уже статистически значимыми, а в случае ЕГЭ*ТС или ЕГЭ*Ка - незначимыми. В случае выборки студентов, успешно сдавших все экзамены, динамика успеваемости по математике является высокозначимой (сравнения результатов ВИ# и ЭКЗ#) и положительной. Влияние факторов ФАК#, МОУ#, ФИ# и ФО# на ФПИ# оказалось разнообразным как по уровню значимости, так и по направленности динамики на разных уровнях значимых факторов. Так, например, сравнение результатов ВИ# и ЭКЗ# демонстрирует высокозначимую положительную динамику успеваемости в случае ЕГЭ#, статистически значимую отрицательную динамику успеваемости в случае Ол# и незначимую - в случае Экз#.3.Проведенное сопоставление результатов исследования непараметрическими и параметрическими критериями позволяет говорить о подтверждении выводов на основе ранговых критериев параметрическими критериями в случаях явно выраженной значимости или незначимости. В случаях несогласия наиболее обоснованными являются выводы на основе ранговых критериев. 4.Дисперсионная форма анализа результатов усвоения математических знаний позволяет рассматривать также более детальные и громоздкие факторные модели, увеличивая количество уровней факторов ФАК, МОУ и ФПИ, а также количество самих факторов применительно не только к математике, но и к другим дисциплинам учебного процесса в рамках многомерного дисперсионного анализа. Данный подход позволяет выявлять различные проблемы образовательного процесса и делать его управление более эффективным.

Скачать электронную версию публикации