Adaptive estimation in a heteroscedastic nonparametric regression.pdf 1. Введение Предположим, что наблюдения (yj)1≤j≤n описываются уравнением гетероске-дастичной регрессии yj=S(xj)+σjξj, 1≤j≤n, (1) где Xj = j/n ; S'(•) ∈ L2[0,1] - неизвестная 1-периодическая К → К -функция, которую требуется оценить. (ξj)1≤j≤n- последовательность независимых одинаково распределённых случайных величин, таких, что E(ξj)=0, E(ξ2j)=1, E(ξ4j)=ξ* 0 lim σδ^ = 0, n →∞ nδ σ0 - некоторая положительная величина. Адаптивное оценивание в гетероскедастичной непараметрической регрессии 39 Модели вида (1) с σ=σ(xJ ) были введены как обобщение непараметрической модели ANCOVA [1J. Следует отметить, что гетероскедастичные регрессии с таким коэффициентом волатильности встречаются в эконометрических исследованиях, а именно, в анализе инвестиционного поведения фирм [2, 3J. Например, для задачи потребления используют некоторые параметрические аналоги модели (1) с коэффициентами волатильности σJ=c0+c1xJ+c2S2(x2J), где c0, c1, c2 - некоторые неотрицательные неизвестные постоянные. Отметим, что регрессионная модель (1) является важной в стохастических дифференциальных уравнениях для аппроксимации диффузионных процессов с непрерывным временем путем использования последовательных ядерных оценок, имеющих асимптотически минимальные отклонения (см., например, [4-6J). Цель работы - построить адаптивную процедуру выбора модели для оценивания функции S в модели (1), которая имеет более высокую среднеквадратическую точность по сравнению с оценками МНК для конечного объема наблюдений, и получить оракульное неравенство для среднеквадратического риска построенной процедуры выбора модели. Напомним, что метод выбора моделей появился в пионерских работах Акайке [7J и Мэллоуза [8J, которые предложили ввести пенализационное слагаемое в критерий максимального правдоподобия. Далее, Барон, Бирже и Массар [9J, Мас-сар [10J и Кнайп [11J развили этот метод для получения неасимптотических ора-кульных неравенств в непареметрических регрессионных моделях с гауссовскими шумами в дискретном времени. К сожалению, этот метод не может быть применен к регрессиям с негауссовскими шумами, поскольку для таких моделей оценки коэффициентов Фурье являются, вообще говоря, зависимыми случайными величинами и, как правило, с неизвестными корреляционными коэффициентами. Этот факт делает невозможным применение метода Барона-Бирже-Массара-Кнайпа для получения оракульных неравенств для таких моделей. По этой причине в данной работе для оценивания функции в модели (1) применяется метод, развитый в [12J. В отличие от упомянутых работ, в статье разрабатывается процедура выбора моделей для адаптивного оценивания функции, основанная на взвешенных улучшенных оценках наименьших квадратов со специально подобранными коэффициентами. Применение метода улучшенного оценивания, известного как феномен Стейна, для параметрических моделей регрессии в непрерывном времени стало возможно благодаря работам [13, 14J, а для непараметрических моделей - работам [15, 16J, в которых предложены соответствующие модификации известной процедуры Джеймса - Стейна для регрессионных моделей с шумами, содержащими импульсные компоненты. В данной работе этот метод применен к процедуре выбора моделей с заменой классических оценок наименьших квадратов на их улучшенные версии. Это позволяет улучшить среднеквадратическую точность оценивания. Процедура выбора моделей дает адаптивное правило выбора лучшей оценки (в смысле точного неасимптотического оракульного неравенства) в определен- 40 Е.А. Пчелинцев, С.С. Перелевский ном семействе проекционных оценок. Точное оракульное неравенство означает оценивание сверху неасимптотического риска минимальным риском по выбранному семейству оценок, умноженным на коэффициент, стремящийся к единице с ростом отношения сигнал/шум. Такие неравенства позволяют доказывать эффективность процедур без знания регулярности оцениваемой функции, т.е. в адаптивной постановке ["7]. Статья состоит из следующих разделов. В разделе 2 предлагаются улучшенные взвешенные оценки наименьших квадратов. Доказывается, что такие оценки превосходят классические оценки МНК по среднеквадратической точности. В разделе 3 строится адаптивная процедура выбора моделей для оценивания функции, основанная на взвешенных улучшенных оценках наименьших квадратов. Получено точное неасимптотическое оракульное неравенство для риска процедуры. Раздел 4 содержит результаты численного сравнения эмпирических рисков данной адаптивной улучшенной процедуры с процедурой, предложенной в ["2]. Доказательства основных результатов приводятся в приложении. 2. Улучшенные взвешенные оценки МНК Для оценивания неизвестной функции S в модели (") воспользуемся ее разложением в ряд Фурье по тригонометрическому базису φ j (х) j≥" в пространстве L2[0,"]: S(x)=∑θjφj(x), (3) j≥" 'J2 cos(2π [ j / 2]х), для четных j, где φ" =", φj(x) =[ λ∕2sin(2π [ j / 2]х), для нечетных j, [a] - целая часть числа a и коэффициенты Фурье θJ = (S, φJ ">n = ^nΣ s(xl)фJ (xl) n l =" - эмпирическое скалярное произведение функций S и φJ на сетке (xJ)"≤J≤n. Поскольку они зависят от неизвестной функции S , то также являются неизвестными и подлежат оцениванию. Если n является нечетным, то φJ(x)J≥" - ортонормиро-ванный базис относительно введенного эмпирического скалярного произведения, т.е. для всех " ≤J ≤n (фі, φ J >n = - Σ φi (xI )ф J (xI У = δi] , n l =" где δ.j - символы Кронекера. Используя этот факт, получаем, что оценки МНК коэффициентов Фурье определяются формулой θJn = (γ, Φ J )n. Адаптивное оценивание в гетероскедастичной непараметрической регрессии 41 Здесь Y= ( y1,..., yn) и штрих обозначает транспонирование. Из (1) следует, что оценки МНК удовлетворяют следующему уравнению: θj,n =θj + nξj,n, ξ jn ^1= ∑^lξιφj (xlУ (4) n >Jn l=1 Теперь, как и в [12], определим класс взвешенных оценок МНК функции S следующим образом: >Sλ (x) = Σλ(J)'Э j,nφj (x), (5) j=1 где x∈[0,1]; вектор весовых коэффициентов λ=(λ1,...,λn) принадлежит некоторому конечному множеству л ⊂ [0,1]n для n ≥ 3 . Пусть ν =I л | - мощность множества Λ , n n =maxsup ∑λ(j)(φ2j(xl)-1). λ∈Λ 1≤l≤n j=1 υn = >λlaχ ∑λ( j), υ1,λ л -^λ∈Λ j=1 λ∈Λ 1≤l≤n Предположим, что существует целое число d=d(n)≤n, такое, что λ(j)=1 для j = 1,d . Учитывая такой вид весовых коэффициентов, для оценивания неизвестной функции S в (1) вместо взвешенных оценок МНК предлагается использовать оценки вида (6) где g(j) =⅛i{1≤ j≤d}, llθ= ∑θ2,n , θn d j =1 IA - индикатор множества A и c = {d - 1)σ0 n(r^ +^dσ^^ /n) Здесь rn - положительный параметр, такой, что lim rn =∞ и для любого δ > 0 n→∞ lim -rδ = 0. n →∞ n δ Далее обозначим разность эмпирических среднеквадратических рисков предложенной оценки (6) и оценки МНК (5) как ∆n(S) = ES∣∣Sλ -S|in -Es∣|^^λ-S∣∣2, (7) где ES - математическое ожидание относительно распределения наблюдений Y= ( y1,..., yn) при фиксированной функции S и l∣S∣∣n = - ∑ S 2( Xl). n l =1 42 Е.А. Пчелинцев, С.С. Перелевский Предложенная оценка (6) обладает следующим свойством. Теорема 1. Пусть в моДели (1) коэффициенты волатильности (σj∙ )1≤j∙≤n удовлетворяют неравенствам (2). ТогДа Для всех λ∈Λ оценка (6) превосхоДит по среднеквадратической точности взвешенную оценку МНК (5). При этом разность среДнекваДратических рисков (7) уДовлетворяет слеДующему неравенству: ∆n (S) ≤-cn. (8) Замечание 1. Теорема 1 утвержДает, что оценка (6) облаДает более высокой среДнекваДратической точностью по сравнению с оценкой МНК (5), причем минимальный выигрыш в точности равен cn. 3. Выбор модели. Оракульное неравенство В данном разделе предлагается правило выбора из введенного класса оценок (6) наилучшей оценки в смысле точного оракульного неравенства. Такой метод позволяет решить задачу в адаптивной постановке, т. е. в случае, когда неизвестна степень гладкости функции S в (1). Для построения адаптивной процедуры выбора модели определим множество Λ. С этой целью зададим сетку A ={1,...k}×{t1,...,tm}, где t^ = iε и m = -1- . Считаем, что параметры k ≥ 1 и 0 0. Например, можно взять для n ≥ 3 εn kn = k ^∕iiiw, lnn где k - некоторая неотрицательная постоянная. Для любого α=(β,t)∈A положим, что весовой вектор λα=(λα(1),...,λα(n))' с компонентами (10) λα (j) = 1{1≤ j≤ jo} + (1 - (j / ωα ) )1{1< j≤ωα}. Здесь d=d(n)=[ωα /lnn], ωα =TO + (Aptn)1/(2e+1), Aβ = (β + 1)(2β + 1)∕(π2ββ) и то - некоторая неотрицательная постоянная. Отметим, что в этом случае ν=mk . Замечание 2. Весовые коэффициенты вида (10) были введены Пинскером [18] и Нюссбаумом [19] для доказательства асимптотической эффективности оценок гауссовских сигналов. Для негауссовской гетероскедастичной модели весовые коэффициенты (10) использовались в работах [12, 17]. Адаптивное оценивание в гетероскедастичной непараметрической регрессии 43 Для того чтобы выбрать вектор весовых коэффициентов λ∈Λ в (6), необходимо минимизировать эмпирическую квадратическую ошибку вида E-rr (λ) = I∣Sλ* - Sl= - ∑ (Sλ* (Хг) - S())^, nn n l =1 ll которую в силу равенств (6) и (3) можно переписать, как Errn (λ) = - Σ (Σ (λ( j■)θ*^■ n - θ] )ф] (xZ ). nj=1 V Z =1 J (11) Затем, учитывая, что n-1∑ln=1φ2j(xl)=1, перепишем (11) следующим образом: Err„(λ) = ∑λ2(j)θ*J2n -2∑λ(j)θ*^.,nθj +ISlP , j=1j=1 Так как в этом равенстве коэффициенты θ j неизвестны, необходимо величины θ*j,nθj заменить некоторыми оценками. В качестве таких оценок предлагаются θj,n=θ*,nθ jn -1 ς n, где ς - некоторая оценка интегрированной дисперсии шума 1n ς. = - ]∑ σ2. n l =1 При осуществлении этой замены в эмпирической ошибке нужно заплатить «штраф». Определим платежную функцию как J„(λ) = ∑λ.^(j)θ*n -2∑λ,(j)θ+pPn(λ), (12) j=1j=1 где 0

Скачать электронную версию публикации