На основе взвешенного метода максимального правдоподобия синтезированы и исследованы адаптивные оценки параметра сдвига.
Adaptive estimation of location parameter.pdf В настоящее время нет недостатка в робастных оценках параметра сдвига, что создает даже некоторое неудобство для пользователей (см., например, [1-6]). Как правило, такие оценки робастны на классе распределений и имеют низкую эффективность в отсутствии выбросов и на ряде распределений супермодели. Как выход были предложены адаптивные оценки. В рамках параметрической робастной статистики используется адаптация по параметру усечения, но не по виду распределения F(x) [4, 5]. В рамках непараметрической задачи [6] предложена адаптация по виду распределения F(x), но функция и параметр усечения подбираются эвристически. Становится понятным, что эффективные оценки в условиях непараметрической статистической неопределенности должны быть адаптивными как по виду априорного распределения (непараметрический подход), так и по отбраковке выбросов (робастный подход). В работе на основе взвешенного метода максимального правдоподобия (ВММП) [7, 8] рассматриваются адаптивные робастные непараметрические оценки на примере параметра сдвига. 1. Взвешенный метод максимального правдоподобия (ВММП) Пусть Xj,...,xN - выборка н.о.р. из непрерывного распределения F(x) с плотностью f (x). Обозначим: G(x, 6), g(x, 6) - априорные функцию и плотность распределения из класса унимодальных симметричных распределений; 6 - неизвестный параметр; FN (x) - эмпирическую функцию распределения (э.ф.р.). М-оценки неизвестного параметра 6 определяются на основе решения эмпирического уравнения вида (1.1) где ф( x, 6) - оценочная функция. Анализ критерия радикальности и алгоритмов устойчивых оценок [3] позволяет сделать вывод, что устойчивые оценки можно синтезировать на основе ВММП [7] с оценочной функцией ф( x, 6) вида (1.2) ф( x, 6) = ГА ln g (x, 6) + pl gl (x, 6), где l - параметр радикальности оценки, р - параметр, который определяется из условия несмещенности оценки, для параметра сдвига р = 0 [7]. Выражение (1.2) определяет ВММП с весами gl (x, 9) : при l = 0 получаем оценки максимального правдоподобия (ОМП), при l = 0,5 - радикальные оценки (РО), при l = 1 - оценки максимальной устойчивости (ОМУ) [3]. Физически роль параметра l сводится к определению степени «мягкого» усечения, как для удаленных выбросов, так и по форме априорного распределения. Для модели Тьюки F(x) = (1 -b)G(x, 9) + е- H(x, 9) получаем взвешенную ОМП с весами 4-1 в • h( x, 9) f(x) I (1 -в) g (x, 9) Если параметр радикальности l определить в виде ln f (x) l= Г (x, 9) = (1 -в) g(x,9) =|1 + - (1 -в)-ln g (x, 9) J то оценки ВММП вида (1.2) будут совпадать с ОМП. Как правило, H(x, 9) и в неизвестны и в результате весовые функции W(x, 9) невозможно определить. В то же время оптимальная оценка зависит только от интегрального параметра радикальности l. Следовательно, производя адаптацию оценок (1.2) по параметру радикальности, можно получать эффективные робастные оценки ВММП в классе устойчивых оценок [3]. 2. Исследование оценки сдвига ВММП Рассмотрим обобщенную М-оценку 9N параметра 9 , которая определяется на основе решения эмпирического уравнения вида [7], [11] |ф( x, Tn (x, )dFN (x) = 0, где f = (fj,..., fk )T ; f = j Si (x, t, 9)dF (t); fm = j St (x, t, 9)dFv (t). Имеет место следующее представление - д ]-! 9n -9 = f—ф(x,9, f )dF(x) • jV(t,9)dF(t), L 59 J k д У(t, 9) = ф(1, 9, f (t, 9)) + У j St (x, t, 9)-фО1, 9, f (t, 9))dF(x). i=i 5f При выполнении ряда ограничений л/N(9N - 9) имеет асимптотически нормальное распределение с дисперсией |-5-ф( x, 9, f )dF (x) •jy2(t, 9)dF (t). а2 = (2.1) д9 В параметрическом случае (1.2) (St = 0) gl-1( x, 9). _5_ 59 ф( x, 9) = g (x, 9) (2.2) Выражения (2.1), (2.2) определяют дисперсию параметрического ВММП (классические М-оценки) и при l = 0 (2.1) совпадают с выражением для дисперсии ОМП, а при l = 1 ОМУ [3]. Для непараметрического ВММП, который будет рассмотрен ниже, для оценки сдвига получаем ф(x,0,Tl,T2) = T1(x,9)• T2l-1 (x,9), S1(X,t,0) = — KI 29~xI, S2(x,t,0) = — S1 (x,t,0). hN V hN ) 50 В этом случае выражение (2.1) определяет дисперсию непараметрической оценки ВММП в зависимости от l. Исследуем поведение дисперсии оценок ВММП параметра сдвига для параметрической задачи. В качестве супермодели возьмем модель Тьюки F(x) = (1 -e)G(x, 0) + е- H(x, 0) на конечном наборе распределений, имеющих разную степень «тяжести хвостов»: четвертой степени (РЧС), нормального, Лапласа, Коши для асимметричных (АВ) и симметричных (СВ) выбросов [11]. Например, для нормального распределения 2 f 1 f (x) = для АВ; (2.3) ( x-5) 0,9e 2 +0,1e 2 / ( 22 -x- 0 1 -x-1 0,9e 2 + —e 10 3 v ) 18 f (x) = для СВ. (2.4) Для данных распределений были синтезированы оценки ВММП [11]. В выражение (2.1) подставлялись соответствующие распределения типа (2.3), (2.4), вычислялись дисперсии оценок для данных распределений и проводилось сравнение полученных оценок. В связи с ограниченным объемом работы приведем ряд результатов для распределений (2.3) , (2.4), которые являются типичными и для других распределений. Для нормального распределения g (x, ц, X) оценка параметра сдвига принимает следующий вид: j (x -ц) gl (x, ц, s)dFN (x) = 0. (2.5) Дисперсия данной оценки j x2 g 21 (x,0, s)dF (x) а2 =■ 2 j lx2-1|gl(x,0,s)dF(x)I s ) ) 1. Исследовалась зависимость от l дисперсии оценки (2.5) при е=0 (см. табл. 1) Таблица 1 Эффективность оценки (2.5) при £ = 0 Оценка ОМП РО (l = 0.5) ОМУ (l = 1) Дисперсия (кривая 1 на рис. 1, 2) 1 1,193 1,54 Эффективность 1 0,832 0,649 С ростом устойчивости оценки её эффективность снижается. 2. Исследовалась зависимость от l дисперсий оценок ВММП (см. табл. 3, 4; рис. 1, 2) на распределениях (2.3), (2.4). 0,2 6 п-1-7—' 4 - 2 - 0,2 0,4 Рис. 1. График дисперсий оценок от l на распределении (2.3) 6|7 3 4 2 0 0,6 0,8 l 0 0,4 0,6 0,8 l Рис. 2. График дисперсий оценок от l на распределение (2.4) На рис. 1, 2: 1 - оценка ВММП для НР в = 0; 2 - оценка ВММП для НР; 3 -оценка ВММП для Лапласа; 4 - оценка ВММП для Коши; 5 - оценка ВММП для РЧС. Таблица 2 Эффективности оценок на распределении (2.3) Параметр Оценка НР (2.5) Лапласа Коши РЧС Оптимальный параметр радикальности 0,303 0 0 0,481 Дисперсия 1,303 1,939 3,402 1,376 Эффективность 1 0,672 0,383 0,947 Таблица 3 Эффективность оценок на распределении (2.4) Параметр Оценка НР (2.5) Лапласа Коши РЧС Оптимальный параметр радикальности 0,191 0 0 0,532 Дисперсия 1,273 1,803 3,402 1,502 Эффективность 1 0,706 0,474 0,848 Эффективными оказываются взвешенные ОМП (оценки ВММП). Результат ожидаемый, но не очевидный. 3. Исследовалась зависимость от l дисперсии оценки (2.5) (см. табл. 4, 5) на распределениях (2.3), (2.4). Дисперсия оценки (2.5) имеет выраженный минимум по l, поэтому находилось оптимальное Г - в результате получаем адаптивные оценки (АО). Лидируют адаптивные оценки (АО). Высока эффективность радикальных оценок (РО). ОМУ имеют низкую эффективность. ОМП имеют низкую, особенно при АВ, или нулевую эффективность. Таблица 4 Эффективность оценки (2.5) на распределении (2.3) Параметр Оценка ОМП АО РО ОМУ Дисперсия 3,5 1,303 1,364 1,72 Эффективность 0.372 1 0,955 0,758 Таблица 5 Эффективность оценки (2.5) на распределении (2.4) Параметр Оценка ОМП АО РО ОМУ Дисперсия 1,8 1,273 1,4 1,782 Эффективность 0,707 1 0,909 0,714 3. Адаптивные оценки ВММП При непараметрическом уровне априорной информации (вид g (x, 9) неизвес тен), заменим g (x, 9) в (1.2) непараметрической симметризованной оценкой Ро зенблатта - Парзена gN (x, 9) : 29- x-t dFN (t). (3.1) hN 1 (' gN (x, 9) = — j K\hN V Например, для нормального ядра оценочные уравнения ВММП для оценки параметров сдвига 9 и масштаба X принимают следующий вид [7], [8]: 1 N N -УУ (9N - z„) • Wj (z.) = 0, N(N -1) ^ N 1 1 11 (3.2) i N N —1— УУ N (N -1) 1£ 1=1 1 7+Г - z,, ■W1( Zj) = 0, N-1 £ exp f l-1 (9n - zj)2 X N (9N - Zlm )2 W^ Zi) = exp
Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. М.: Мир, 1989. 512 с.
Хьюбер П. Робастность в статистике. М.: Мир, 1984. 303 с.
Шурыгин А.М. Прикладная статистика. Робастность. Оценивание. Прогноз. М.: Финансы и статистика, 2000. 223 с.
Basu A., Harris I.R., Hjort N.L., Jones M.C. Robust and efficient estimation by minimising a density power divergence // Biometrika. 1998. V. 85. P. 549-559.
Hogg V., Horn P.S., Lenth R.V. On adaptive estimation // J. Statistical Planning and Inference. 1984. V. 9. P. 333-1343.
Beran R. An efficient and robust adaptive estimator of location // Ann. Stat. 1978. V. 6. Ыо. 2. P. 292-313.
Симахин В.А. Непараметрическая статистика. Ч. II. Теория оценок. Курган: Изд-во КГУ, 2004. 163 с.
Rymar I.V., Simakhin V.A. Nonparametric robust estimates of the shift and scale parameters // Proc. SPIE. 2005. V. 6160. P. 230-239.
Simakhin V.A. Nonparametric robust regression estimate // Proceedings SPIE. 2006. P. 130-139.
Simakhin V.A. Nonparametric robust prediction algorithms // Proc. International Symposium on Stochastic Models in Reliability Engineering, Life Science and Operations management. Beer Sheva, Israel, 2010. P. 1017-1030.
Симахин В.А. Робастные непараметрические оценки. LAMBERT Academic Publishing, Germany, 2011. 292 с.