Minimax estimation of the gaussian parametric regression.pdf Рассмотрим классическую задачу оценивания неизвестных параметров регрессионных моделей. Пусть наблюдения описываются уравнением y = е+ст^, (1) где 9 - неизвестный вектор постоянных параметров из некоторого ограниченного множества 0c!d, £ - гауссовский случайный вектор с нулевым средним и единичной ковариационной матрицей Id, т.е. Law(£)=Nd(0, Id), с - некоторое известное положительное число. Задача состоит в том, чтобы оценить параметр е по наблюдениям Y. В качестве меры точности оценки е выберем среднеквадратиче-ский риск, определяемый следующим образом: 2 d R(е,е):= £"е|е-е| , 1x12 = Xx2 , II j=1 Ее - математическое ожидание относительно меры Ре . Напомним, что оценкой параметра е является любая борелевская функция от наблюдений Y [1]. Известно [2], что наилучшей по точности в классе линейных несмещенных оценок является оценка по методу максимального правдоподобия е^ = y , (2 которая имеет нормальное распределение Nd (е, ст2Id) и ее среднеквадратиче-ский риск определяется равенством R (е, е ml ) = d ст2. В 1961 г. Джеймс и Стейн [3] предложили сжимающую оценку вида ( \ 1 |Y|2 Y, которая для всех 0 < с < 2 (d - 2) равномерно по е превосходит по среднеквадра- -^js тической точности оценку метода максимального правдоподобия при d > 3 , т.е. d для любого ее Ж. справедливо неравенство R(e, eJS) < R(e, е ^ ). Оценка Джеймса - Стейна является минимаксной оценкой [3, 4]. Полученный результат побудил многих статистиков к развитию так называемой теории улучшенного оценивания. Появилась серия работ, в которых были предложены различные минимаксные модификации оценки Джеймса - Стейна. Одной из простых модификаций является оценка ( \ Y, a+= max (a,0), 1 - ^JS Y2 которая известна как положительная часть оценки Джеймса - Стейна и была предложена в 1964 году Баранчиком [5]. В этой работе было доказано, что такая оценка превосходит по среднеквадратической точности не только оценку по методу максимального правдоподобия, но и оценку Джеймса - Стейна 9JS (см. рис. 1). /У J.' У /; г f / f j - / /у // / // / / / / -' / / - Риск оценки (2) ---Риск оценки JS -----Риск JSPP Риск оценки (3) Риск оценки (4) о |е| Рис. 1. Среднеквадратические риски оценок максимального правдоподобия (2), Джеймса - Стейна, её положительной части, (3) и (4) как функции от |е| Различные оценки, обладающие аналогичным свойством, были предложены в работах [6-8]. В перечисленных работах сжимающий коэффициент не был явно определен аналитически, а лишь предложены алгоритмы его численной оптимизации. Задача Джеймса - Стейна была изучена для более общих моделей, в том числе с неизвестной ковариационной матрицей [9-11]. Значительные усилия были направлены на решение задачи улучшенного оценивания в негауссовских моделях [12-17]. В работах [14-17] для модели регрессии, в которой шум является условно-гауссовским, предложены новые минимаксные модификации оценки Джеймса -Стейна вида =11 -Y1Y. Здесь, в отличие от всех других модификаций, сжимающий коэффициент определяется множителем, содержащим |Y|, а не |Y|2. Такая замена оправдана тем, что позволяет получить явные формулы для среднеквадратической точности и контролировать ее. Лемма. Пусть наблюдения описываются уравнением (1). Тогда оценка е* с с = (d -1)CT2Sd , где 5d = ( + ст4ё) , р = sup{|9|}, превосходит по среднеквадра- 9е0 тической точности оценку максимального правдоподобия для любого d > 2 и является минимаксной, причем разность рисков удовлетворяет неравенству д* (е) := R(е,е*) -R(9, е) < - ((d - 1)ст25d )2. R (е*, е) = R (ML, е) + Ее (g(Y) -1)2 |Y|2 + 2X Ее (g(Y) -1) Y} (Y] - е j), Доказательство. Рассмотрим риски оценок (2) и (3): R^ml,е) = Ее |еML -е|2 = ст2Ее 2 = ст2d; d j=1 (3) где g(Y) = 1 - с / |Y|. Обозначив f (Y) = (g (Y) -1) Yj и используя плотность распределения вектора Y 2 x-е| exp 2ст2 py (x) = (2n)d/2ст имеем Ij := Ее f (Y)(Y; - е;) = J f (x)(x}- - е; )py (x)dx, j = 1, d . Делая замену переменной u = (x -е)/ ст и полагая f (u) = f (ctu +е), находим 2 u 1 du, j = 1, d . Ij = (2n)d/2 „d 2 v J f (u )u} exp Эти величины можно переписать как I] =ст2 Ее f vduj j = 1, d . (u ) u = Y Таким образом, квадратический риск для оценки (3) представляется в виде u = Y d ( д R (е*, е) = R (ml , е) + Ее (g(Y) -1)2 |Y|2 + 2ст2Ее X [(g(u) - 1)u; ] j=1 vduj Отсюда, после несложных преобразований, получаем R(e, е*) = R(e, е)+Eew (y ), где w(x) = с2 - 2(d - 1)ст2 С. x Следовательно, Д(е) = c2 - 2(d - 1)ст2сЕе\Y\-. Оценим снизу величину Ее |Y| 1. Из неравенства Йенсена [18] имеем Ее |Y|-1 >(|е| + аЕе|ф-1 >(p + aVd )-1 =5d. Тогда для всех ее © : Д(е) < с2 - 2(d - 1)CT25dc =: ф(с). Минимизируя функцию ф(с) по с, получим Д*(е) с)+ Ее|е-е+| 7(|y|c) + EeI01(\у\

Скачать электронную версию публикации