About the influence of rounding errors on distributions of statistics of the goodness-of-fit tests.pdf Большинство существующих критериев предназначено для проверки статистических гипотез относительно непрерывных случайных величин. Это стандартное предположение, на которое редко обращают внимание, но которое обусловливает корректность применения соответствующих критериев. В реальных ситуациях это предположение часто нарушается, так как любые измерения сопровождаются некоторой погрешностью округления и в выборках присутствуют повторяющиеся наблюдения, чего не должно быть в случае непрерывности случайной величины. Это типично для данных экономического характера, для измерений, сопровождающих исследования в медицине и биологии, нередко повторяющиеся результаты встречаются в выборках высокоточных измерений, связанных с техническими системами. Очевидно, что наличие погрешностей округления как-то отражается на результатах применения статистических методов, а в некоторых ситуациях влияние ошибок округления может приводить и к неверным статистическим выводам. Поясним, например, что происходит с критерием согласия Колмогорова при проверке простой гипотезы H0 : Fn (х) = F(х) , статистика которого S = -JnDn , где Dn = sup\\Fn (x) - F(x)|, учитывает отклонение эмпирического распределения F„(x) от теоретического F(x), если результаты измерений округляются с некоторым А. Предельным распределением статистики S при справедливости проверяемой гипотезы H0 является распределение Колмогорова K(S). Если «нарушается» стандартное предположение о непрерывности наблюдаемой случайной величины и результаты измерений округляются (фиксируются) с некоторым А, то, начиная с некоторого n (зависящего от вида F(x), от области определения случайной величины и от А), величина Dn с ростом n перестает уменьшаться, а распределение статистики S (при справедливости H0) будет отклоняться от распределения Колмогорова K(S) (чем больше А, тем при меньшем n). В работах [ 1, 2] поведение распределений статистик критериев, предназначенных для проверки различных статистических гипотез, исследовалось в зависимости от А в условиях больших выборок. 47 Б.Ю. Лемешко, С.Б. Лемешко Было показано, что классическими результатами, касающимися распределений статистик, можно пользоваться лишь до определенных объемов выборок n < nmax. При n > nmax из-за естественного присутствия ошибок округления распределения статистик уже существенно отличаются от имеющих место в классической ситуации. Как видим, в случае больших массивов данных (Big Data) из этой ситуации имеется простой выход: в интересах анализа из Big Data следует извлекать выборки, объемом не превышающие «max, тогда, применяя критерии, можно пользоваться классическими результатами. Однако такие же проблемы возникают не только при анализе больших выборок. Например, о возможных проблемах с применением критериев нормальности, связанных с округлением, ранее говорилось в работе [3]. В [4, 5] на примере критериев проверки гипотез о равенстве математического ожидания и дисперсии номинальным значениям, а также критериев Стьюдента об однородности средних и Фишера об однородности дисперсий двух выборок было показано влияние ошибок округления на реальный уровень значимости. Там же было отмечено, что с увеличением А снижается мощность критериев. Но в упомянутых работах не говорится о том, как меняются распределения статистик критериев с ростом ошибок округления и что делать, если такие изменения имеют место. Цель настоящей работы заключается в том, чтобы показать: как в ситуации ограниченных объемов выборок в зависимости от величины ошибки округления могут изменяться распределения статистик различных критериев проверки статистических гипотез; при каких условиях эти изменения нельзя игнорировать; как поступать, чтобы обеспечить в таких условиях корректность вывода по применяемому критерию. Для обеспечения настоящих исследований в вычислительной системе [6], в которой представлен перечень критериев, несколько превышающий множество критериев, охваченных в [7-10], реализована возможность применения этого перечня критериев, а также моделирования распределений статистик соответствующих критериев в условиях нарушения стандартного предположения о непрерывности (при заданной погрешности округления А). Количество имитационных экспериментов при исследовании соответствующих распределений статистик и вычислении оценок достигнутого уровня значимости методами статистического моделирования, как правило, составляло величину не менее N = 106. В руководствах [7-10] мы представили результаты исследований реальных свойств различных групп критериев без учета влияния на эти свойства ошибок округления. В данном случае на примере различных критериев с использованием методов статистического моделирования покажем, как погрешность округления может влиять на распределения статистик критериев проверки различных гипотез при относительно небольших объемах выборок, и что надо делать, чтобы, применяя критерии в этих условиях, обеспечить корректность статистических выводов. Как проблема ошибок округления отражается на свойствах критериев, будет продемонстрировано на группах критериев, используемых при проверке гипотез об отклонении эмпирического распределения от нормального закона и об отклонении от экспоненциального. 1. Влияние ошибок округления на распределения статистик критериев проверки нормальности Во многих приложениях достаточно типична ситуация, когда из-за округления в анализируемых выборках оказывается относительно много повторяющихся значений. Это настораживающий факт, указывающий на то, что реальные распределения GA (Sn |И0) статистик критериев (при погрешности округления А и объемах выборок п) могут существенно отличаться от предельных распределений G(S|Hо) или от G(Sn|H0), имеющих место в ситуации без округления измерений. Наличие некоторого числа повторяющихся наблюдений в выборке еще не свидетельствует об изменении распределения статистики. Но когда величина А оказывается соизмеримой со среднеквадратическим отклонением с закона распределения ошибки измерения, распределение статистики может и не «пытаться» сходиться к предельному закону, а с ростом п будет лишь удаляться от него. 48 О влиянии ошибок округления на распределения статистик критериев согласия В табл. 1 приведены выражения статистик критериев согласия, чаще всего используемых в приложениях. В этот перечень входят критерии: Колмогорова (K) [11] с поправкой Большева [12] (1), Купера (Ku) [13] (2), Крамера-Мизеса-Смирнова (CMS) [12] (3), Ватсона (W) [14, 15] (4), Андерсона-Дарлинга (AD) [16, 17] (5), Жанга [18] (со статистиками Zk, Za, Zc (6)-(8), распределения которых зависят от объемов выборок), критерий %2 Пирсона (X2) (9), критерий Никулина-Рао-Робсона (YП) [19, 20, 21] (10). Критерий Никулина-Рао-Робсона предполагает использование оценок максимального правдоподобия (ОМП) по негруппированным данным. В этом случае распределением 0(У% |Н0) его статистики является _і -распределение. Статистики рассматриваемых критериев согласия Таблица 1 Критерии Статистики критериев K Sz = s["d„ , (1) где Dn = max (в", D_) , d+= max {- _ , D_ = max j F{xt, Ѳ) _ ^-11 ' ' 1

Скачать электронную версию публикации