On convergence of indicator-based estimators for parameters of linear model.pdf В некоторых приложениях статистических методов об-работки данных встречаются ситуации, когда информация ослучайных ошибках измерений формулируется в виде суж-дений об их принадлежности некоторым интервалам с за-данной вероятностью. Это имеет место при обработке ре-зультатов физических опытов, когда экспериментатор неможет делать утверждений о форме распределения погреш-ностей, но готов назвать точность измерений и формулиру-ет это в виде интервала, которому принадлежит большаячасть погрешностей. Похожая ситуация встречается при об-работке вторичных данных статистического учета. Припроведении статистических обследований принято контро-лировать точность определения показателей с помощью до-верительных интервалов, при этом первичный материал непредоставляется в вышестоящие органы статистики, гдерешаются задачи анализа вторичных данных.В самом общем виде модель этого типа априорной ин-формации рассматривалась ранее в [2 - 4] применительно кзадаче проверки гипотез о параметрах линейной модели.В данной работе примем следующую модель погрешно-стей. Случайные величины ƒ1,…,ƒn независимы, одинаковораспределены, а их общая функция распределения F имеетквантили c1,…,cK-1 уровней q1,…,qK-1 и непрерывна в точкахc1≤…≤cK-1 . Обозначим через Ck=〈ck-1,ck〉 (k=1,…,K) интерва-лы разбиения числовой оси, образованные квантилями.Здесь предполагается, что c0 = -, cK = , а угловые скобкиозначают открытую или закрытую границу интервала. Каж-дому из интервалов приписана, таким образом, вероятностьpk, и если ф.р. F непрерывна на границах разбиения ck , тоpk=F(ck) - F(ck-1) = qk - qk-1 .На таком уровне априорной информации неизбежен от-каз от использования величин невязок в качестве признакови переход к использованию индикаторов попадания этихневязок в множества разбиения {Ck}. Очевидно, что такойпереход осуществляется без потери различающей информа-ции, поскольку о распределении погрешностей ничего неизвестно, кроме его квантилей.В качестве основных примеров можно рассматривать двеситуации. В первом случае {ck}={-c, c} и {pk}={p, 1-2p, p}.Во втором примере {ck}={-c,0,0,c} и {pk}={p, 1-p, 0, 1-p, p}.Здесь постоянные c>0 и p(0,1/2) будем считать известны-ми. Случай неизвестного значения c, которое играет рольмасштаба распределения, описывается в [2 - 4].Случай известной медианы, приводящий к знаковомуанализу, также может быть описан с помощью введенноймодели априорных сведений о погрешностях, если поло-жить {ck}={0,0} и {pk}={1/2, 0, 1/2}. В связи с этим техникадоказательства результатов индикаторного статистическогоанализа во многом близка к доказательствам, полученнымдля знакового случая [1].Со случаем {ck}={0,0} и {pk}={p, 0, 1 - p} связан ещеодин класс задач, которые известны как квантильная рег-рессия (см., например, [5 - 7]). Традиционно методы кван-тильной регрессии основаны на M-оценке квантиля уровняp. В данной работе развивается другой подход к этой зада-че, основанный на анализе индикаторов попадания невязокво множества разбиения {Ck}.Следует заметить, что чем больше квантилей распреде-ления погрешностей известно, тем лучшего качества можноожидать от статистических выводов, если они используютзнание этих квантилей. Таким образом, разработка индика-торных методов анализа данных может рассматриваться какстремление улучшить свойства статистических процедур засчет привлечения доступной априорной информации. Одна-ко эта информация не выводит задачу за рамки непарамет-рического уровня априорной неопределенности.В данной работе рассматривается один класс индика-торных оценок параметров линейной модели статистиче-ских наблюдений. Доказана состоятельность этих оценок.ПОСТАНОВКА ЗАДАЧИРассмотрим задачу оценивания параметров ƒ ли-нейной моделиY = X T ƒ + ƒ , (1)которая описывает статистическую зависимость на-блюдений Y = (Y1,…,Yn )T от неизвестных параметровƒ = (ƒ1,…, ƒT)T , случайных погрешностей измеренийƒ = (ƒ1,…,ƒn)T и матрицы плана X, образованнойстолбцами X1,…,Xn .Оценка параметров ƒ может быть определена, еслиимеется метод проверки простой гипотезы H0: ƒ=ƒ0против сложной альтернативы H1: ƒƒ0 . Заметим, чтопервичными признаками являются наблюдения Y (илисоответствующие невязки Y- XTƒ0), однако статисти-ческая проверка гипотез возможна только на основеиспользования априорного знания распределения{pk}, которое задано на разбиении {Ck}. Это означает,что в качестве признаков достаточно использоватьиндикаторы попадания невязок модели (1) в множест-ва разбиения {Ck}. Отсюда и происходит названиеиндикаторных статистических процедур.Оценкой параметров модели (1) может служитьвектор ƒ0 , доставляющий наибольший достигнутыйуровень значимости при проверке гипотезы H0 противальтернативы H1. В [2 - 4] предложено несколько ва-риантов тестов для проверки таких гипотез. Эти тестыуровня значимости ƒ представляются в видеH(h(ƒ0)) > tƒ, где h(ƒ0)=(h1(ƒ0),…, hn(ƒ0))T - вектор ин-дикаторных статистик hi(ƒ0)=s(Yi-XiTƒ0), а индикатор-ная функция s(u) принимает значение k, если uCk .Поскольку пороговое значение tƒ не зависит от ƒ0,то оценка по методу максимума достигнутого уровнязначимости запишется в видеƒn = UsSn ƒ(s), где Sn=Arg min sS(Y) H(s), (2)S(Y) - множество возможных наборов индикаторныхпризнаков, ƒ(s) - выпуклые многогранники в про-странстве параметров, имеющие вид ƒ(s)={ƒ: h(ƒ)=s}.При решении дискретной задачи минимизации (2) пу-тем полного перебора, критерий H(s) необходимо вы-числять в Kn точках, поэтому для больших объемоввыборки целесообразно использовать методы сокра-щения перебора, которые могут быть основаны на ги-потезе «выпуклости» H(h(ƒ)) как функции от пара-метров ƒ.В данной работе рассматриваются некоторыеасимптотические свойства оценки (2), когда в качест-ве критериальной статистики используется функцияH(s)= ( ) 211 1 1( ) T nn j i ij i X B s = = ƒ ƒ . (3)Если ф.р. F непрерывно дифференцируема в окре-стностях точек c1,…,cK-1 , то оптимальный выбор ве-личин B1(k) предполагает (см. [4]) их задание в видеB1(k)=[f(ck)-f(ck-1)]A/pk,где f(ck)=F (ck), f(c0)=f(cK)=0, A - произвольная посто-янная. При необходимости вместо неизвестных вели-чин f(ck) здесь могут быть использованы другие зна-чения, играющие роль априорной догадки. Похожаяситуация с заданием весовых коэффициентов (меток)имеет место в ранговом анализе, где эти коэффициен-ты называются метками рангов. Поэтому веса B1(k)будем называть метками множеств разбиения {Ck}.В частности, для двух основных примеров, опи-санных во введении, метки могут быть взяты в виде{B1(k)}={-1, 0, 1} для первого примера, а для второго- в виде {B1(k)}={-2p/(1-2p),-ƒ, 0, ƒ, 2p/(1-2p)}. Впоследнем случае ƒ - априорная догадка о значениивеличины (f(0)-f(c))/f(c). Для случая квантильной рег-рессии получаем метки {B1(k)}={-1/p, 0, 1/(1-p)}.В дальнейшем будем в разных сочетаниях исполь-зовать и ссылаться на следующие условия.(а) Ф.р. F непрерывна и удовлетворяет условиюЛипшица, т.е  L > 0: |F(u1) - F(u2)| < L |u1 - u2|u1, u2 R1.(б) Матрица плана ограничена равномерно по n,т.е. H>0: sup i,j,n |Xi j|B1(k0) и для этого k0 существуют по-стоянные L0>0, ƒ>0 такие, что |F(u1) -- F(u2)|≥L0|u1-u2| в ƒ-окрестности k0-й грани-цы априорного разбиения (т.е. при любыхu1,u2{u:|u-ck0|0 и B1(s(u)) ≤0 при u0, где VX,n= 11n Tn i= i i ƒ X X .РАВНОМЕРНЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛВведем обозначение для отклонения от истинныхпараметров t = ƒ0-ƒ и переобозначим индикаторныепризнаки si(t)=s(ƒi-XiTt)=s(Yi-XiTƒ0)=hi(ƒ0), так что{ }111( )( ), 1,( ) ( ), 2,..., 1,1 ( ), .iTiT Tk i k iTK iP s kF c kF c F c k KF c k K−−= =⎪⎧ + == + − + = − ⎨⎪⎩ − + =tX tX t X tX t(4)Теорема 1. Пусть выполняются условия (а), (б) и(в). Тогда для любого A>0 при всех j=1,…,T имеет ме-сто сходимость по вероятности:1 11 11 1sup ( ( )) M ( ( )) 0n n PAni ij i ni ij i nX B s X B s≤ = = − ⎧⎪⎨ ⎫⎪⎬⎪⎩ ⎪⎭ƒ ƒtt t .(5)Доказательство. Зафиксируем j, обозначим черезUn(t) выражение под знаком модуля в (5) и преждевсего докажем поточечную сходимость Un(t) к нулюпо вероятности при любом фиксированном t. Введемв рассмотрение центрированную величинуyi(t)=B1(si(t)) - М{B1(si(t))}. Заметим, что М{Un(t)}=0 иМ{Un(t)}≤B2H2/n0, где B=max k |B1(k)|. Пользуясь не-равенством Чебышева, заключаем, что Un(t) сходитсяк нулю по вероятности.Для доказательства (5), в пространстве значенийвектора t=(t1,...,tT)T опишем вокруг компакта {t:||t||≤A}куб со стороной 2A и разобьем этот куб на (2r)T кон-груэнтных кубов с границами-гиперплоскостями видаtk=Aj/r (k=1,..,T, j=-r,..,r). При всяких A и r существуетконечное множество таких кубов, которые покрываюткомпакт {t:||t||≤A}. Обозначим это множество черезC(A,r) и рассмотрим произвольный куб cC(A,r).При фиксированном i линейная функция XiTt дос-тигает своего максимального и минимального значе-ний внутри куба c на его диагонально противополож-ных вершинах. Величина B1(si(t))=B1(s(ƒi-XiTt)) какфункция от XiTt является кусочно-постоянной и по ус-ловию (в) не возрастает. В результате получаем, чтоминимальные и максимальные значения функций[-XiTt], B1(si(t)) и М{B1(si(t))} внутри куба c достига-ются в одних и тех же точках - на диагонально про-тивоположных вершинах этого куба, которые мы обо-значим через tic1 и tic2 соответственно. При этом самизначения векторов tic1 и tic2 зависят только от вектораXi, поэтому они не являются случайными. Таким об-разом, для всех tc имеет местоA1-A2+A3-A4≤Un(t) ≤ A1-A2+A3-A4,где11 1 1 1 1 1 ' (( )) M{ ( ( ))} nn i ij i ic i ic A X+ B s B s== ƒ ⎡⎣ t − t ⎤⎦ ,11 1 1 2 1 2 ( ( )) M{ ( ( ))} nn i ij i ic i ic A X+ B s B s== ƒ ⎡⎣ t − t ⎤⎦ ,12 1 1 2 1 2 ' ( ( )) M{ ( ( ))} nn i ij i ic i ic A X− B s B s== ƒ ⎡⎣ t − t ⎤⎦ ,12 1 1 1 1 1 ( ( )) M{ ( ( ))} nn i ij i ic i ic A X− B s B s== ƒ ⎡⎣ t − t ⎤⎦ ,13 1 1 1 1 2 ' M{ ( ( ))} M{ ( ( ))} nn i ij i ic i ic A X+ B s B s== ƒ ⎡⎣ t − t ⎤⎦ ,13 1 1 2 1 1 M{ ( ( ))} M{ ( ( ))} nn i ij i ic i ic A X+ B s B s== ƒ ⎡⎣ t − t ⎤⎦ ,14 1 1 2 1 1 ' M{ ( ( ))} M{ ( ( ))} nn i ij i ic i ic A X− B s B s== ƒ ⎡⎣ t − t ⎤⎦ ,14 1 1 2 1 1 M{ ( ( ))} M{ ( ( ))} nn i ij i ic i ic A X− B s B s== ƒ ⎡⎣ t − t ⎤⎦ ,Xij+ = max{0,Xij}, Xij- = -min{0,Xij}.Сходимость к нулю по вероятности величин A1, A2,A1, A2 следует из неравенства Чебышева. Действи-тельно, благодаря тому, что векторы tic1 и tic2 не явля-ются случайными, все эти величины имеют нулевыесредние, а их дисперсии ограничены сверху величи-ной B2H2/n0.Перейдем к рассмотрению величин A3, A4, A3, A4.В силу условий теоремы, с учетом (4) справедливаоценка1 2 1 11 1 2 1M{ ( ( ))} M{ ( ( ))}( )2 2 / ,i ic i icK T Tk i ic i icB s B sB k L KLBHAT r =− ≤≤ƒ − ≤t tX t X tгде учтено неравенство ||Xi||≤HT1/2 а также то, что точ-ки tic1 и tic2 диагонально противоположны:||tic1-tic2||=AT1/2/r. Отсюда, например, для A3 получаем|A3|≤ 11 1 2 1 1 M{ ( ( ))} M{ ( ( ))} nn i i ic i ic H B s B s = ƒ t − t ≤≤2KLBH2AT/r.В точности такая же оценка справедлива и для мо-дулей величин A4, A3, A4.Возвращаясь к (5), при всяком ƒ>0 выберемr≥KLBH2AT/ƒ и рассмотрим событие ƒn, состоящее втом, что для каждого cC(A,r) величины A1, A2, A1,A2 по модулю не превосходят ƒ/4. В этих условияхсобытие maxcC(A,r) suptc |Un(t)|≤ƒ является следствиемсобытия ƒn и можно записать следующую цепочкунеравенств:{ }( , )supA|n( )| cmCaAxr sucp|n( )| nP U P U P≤  ⎪⎨⎧ ≤ƒ⎪⎬⎫≥ ⎨⎧ ≤ƒ⎬⎫≥ ƒ⎪⎩t ⎪⎭ ⎩ t ⎭t t .В силу доказанной ранее сходимости случайныхвеличин A1, A2, A1, A2 к нулю по вероятности, припроизвольных фиксированных r и ƒ, рассуждая отпротивного о совместном распределении этих вели-чин, несложно убедиться, что lim nP{ƒn}=1. Это изавершает доказательство теоремы 1.СОСТОЯТЕЛЬНОСТЬТеорема 2. Пусть выполняются условия (a)-(е).Тогда оценка ƒn, полученная по формулам (2) и (3),является состоятельной в том смысле, что выполняет-ся равенствоlim n P{supƒnƒn ||ƒn-ƒ|| > ƒ}=0 (6)Доказательство. Рассмотрим множестваTn,j = Arg min||t||≤A | Zj(t) |,где Zj(t) = M{ƒ j(t)}, ƒ j(t) = 11 1( ( )) nn i ij i X B s = ƒ t . (7)Введем векторную функцию Z(t)=(Z1(t),...,ZT(t)) изаметим, что по условию (в) имеем M{B1(si(0))}=0 и,следовательно, Z(0)=0. Поэтому при любом n и j сво-его минимума, равного нулю, целевая функция |Zj(t)|из (7) достигает в точке t=0, т.е. Tn,j ={t: Zj(t)=0, ||t||≤A}при всех n и j=1,..,T. Покажем, что при достаточнобольших n множество {t: Z(t)=0} состоит из единст-венной точки. Предположим противное, пусть суще-ствует t0, при котором Z(t)=0. В этом случаеt TZ(t) = 11 1 M{ ( ( ))} n T Tn i i i i B s = ƒ Xt ƒ −Xt = 0. (8)Пользуясь (4), можно записать следующее выра-жение111 1 1 1M{ ( ( ))}( ) ( ) ( 1) ( )Ti iK Tk k iB sB K F c B k B k −=ƒ − == −ƒ + ⎡⎣ + − ⎤⎦=X tX t11 1 1 ( ) ( ) ( 1) ( ) K Tk k k i Fc Fc B k B k −==ƒ ⎡⎣ − +X t ⎤⎦ ⎡⎣ + − ⎤⎦ . (9)Если рассматривать это выражение как функциюот XiTt, то она не возрастает, а по условиям (в) и (г)для нее при если 0TXit − ck < ƒ справедлива оценкаM{ 1( ( T))} 0 T 1( 0 1) 1( 0)B s ƒi−Xit ≥L Xit⎡⎣B k + −B k ⎤⎦.Это означает, что функция M{B1(s(ƒi-u))} равна нулютолько при u=0 и, следовательно, uM{B1(s(ƒi−u))}≤0при всех uR1 и равенство здесь достигается толькопри u=0. Поэтому равенство в (8) возможно толькоесли XiTt =0 для всех i=1,..,n. Однако в этом случаеtTVX,n t = 1 ( )21nn i= i ƒ X t = 0 для данного t 0, что прибольших n противоречит условию (е). Таким образом,{t: Z(t)=0}={0}.Рассмотрим далее вопрос об отделимости значе-ний функции Z(t) от нуля за пределами окрестноститочки t=0. Для этого, пользуясь (9), представим ее ввиде11 1 111( ) ( 1) ( )( ) ( ) .Kkn Tn i i k k iB k B kF c F c−=== ⎡⎣ + − ⎤⎦ ⎡⎣ − + ⎤⎦ƒƒZ tX X tОтсюда получаем( )11 1 11 21( ) ( 1) ( )( ) ( ),T KkTn T k k in i i TiB k B kF c F c−=== ⎣⎡ + − ⎦⎤ ⎡⎣ − + ⎤⎦ƒƒt Z tX tX tX tгде слагаемые второй суммы, отвечающие случаюXiTt =0, считаются равными нулю. Применение к это-му выражению условий (в) и (г) дает-t TZ(t) ≥ L0 [ B1(k0+1) - B1(k0) ] tTVX,n t ,если ||t||0 и B>0.Отсюда следует, что функция ||Z(t)|| отделима отнуля на K(A,B), т.е. A,B (0ƒ(A,B), если VX,n >0.Действительно, если предположить обратное, то су-ществует последовательность точек tjK(A,B), для ко-торой ||Z(tj)||0 и из нее можно выбрать подпоследо-вательность, сходящуюся к некоторой точкеt0K(A,B). В силу непрерывности функции ||Z(t)|| от-сюда следует, что ||Z(t0)||=0, и это противоречит уста-новленному ранее факту.Перейдем к рассмотрению индикаторной оценки(2) - (3). Обозначим Tn={t: t=ƒn-ƒ, ƒnƒn}. ТогдаTn =Arg min t ||ƒ(t)||, где ƒ(t)=(ƒ1(t),...,ƒT(t))T, ƒ j(t) опре-делены в (7). Условия теоремы (а)-(в) позволяют го-ворить о справедливости равномерного закона боль-ших чисел (5), из которого следует, чтоsup||t||≤A ||ƒ(t) - Z(t)||Pn 0.Отсюда, в силу доказанной выше отделимости от ну-ля на компакте K(A,B), для всех B>0 и A>B выполня-ется( , )2 lim min ( ) A B 1n B AP ƒ ≤ ≤⎨⎧ > ⎬⎫=⎩ t ⎭ξ t . (10)С другой стороны, для любого ƒ > 0 существует B > 0,при которомlim sup ( ) 1n BP ⎧⎨ > ƒ ⎫⎬=⎩t ⎭ξ t , (12)то сходимость по вероятности (6) будет иметь местодля случайного множества, заданного формулами (2)и (3), а доказательство теоремы будет завершено. Дляэтого заметим, что по условиям (в) и (д) B1(si(t))≤0,если XiTt ƒi . Введем множества I+ ={i: |XiTt|>|ƒi|},I+- ={i: |XiTt|≤|ƒi|, ƒi⋅XiTt ≥0}, I-- ={i: |XiTt|≤|ƒi|, ƒi⋅XiTt 0} I+ + I--, {i: XiTt⋅B1(si(t))0 имеет место оценка( ){ } { }{ } { }211max11max 1( ( ))22 (1),Tn i ii ITi i in Ti i n i i PB sBRI R I RnB RP R P R o− +=≤≤ ⎡⎣ ƒ ≤ + ƒ > ⎤⎦== ⎡⎣ ƒ ≤ + ƒ > ⎤⎦+ƒƒX t tX tX tгде B1max = maxk=1,K|B1(k)|, а последнее соотношениеполучено по закону больших чисел. Продолжая це-почку (13), с помощью только что полученного соот-ношения можно утверждать, что для любых R и ƒ>0неравенство{ }{ }1 min 1 max11 1 max( ) 22TiN TN i i iB B P RRB P R =ƒ >⎡⎣ − ƒ > ⎤⎦ ƒ − ƒ ≤ − ƒt tX t(14)выполняется с вероятностью, которая сходится кединице при n  , где B1min = min kJ |B1(k)|,J={k: B1(k)0, k=1,..,K}. Чтобы полученное неравенст-во не было тривиальным, всегда можно выбрать дос-таточно большую постоянную R так, чтобыB1min>2B1maxPr{|ƒi|>R}.Получим оценку снизу для величины 11n Tn i= i ƒ X t ,которая входит в (14). Для этого воспользуемся усло-вием (е) и заметим, что1 2 21 ,n T T Tn i= i nnƒ X t =tVX t tVXt≥ ƒt ,где ƒ - наименьшее из собственных чисел положи-тельно определенной матрицы VX. Поэтому, начиная снекоторого n, будет выполнятьсяможно взять A(ƒ)=A(ƒ0). Этого достаточно, чтобыприйти к выводу о справедливости (12), что заверша-ет доказательство теоремы 2.Замечание 1. Условие (г) теоремы 2 можно уси-лить, заменив его следующей более простой форму-лировкой. Ф.р. F непрерывно дифференцируема в ок-рестностях точек c1,...,cK-1 и хотя бы для одногоk1,..,K-1 имеет место F (ck)>0 и B1(k+1)>B1(k).Замечание 2. Результаты теорем 1 и 2 можно рас-пространить на более общий случай, когда вместо (3)при оценивании используется квадратичная формавида ƒ T(t) Wn ƒ(t). Для состоятельности такой оценкидостаточно добавить условие lim n Wn = W > 0 и всоответствующих местах доказательства при получе-нии верхних и нижних границ использовать неравен-ства, которые для сколь угодно малого w выполняют-ся при достаточно больших n :(wmin-w) ||ƒ(t)||2 ≤ wn,min||ƒ(t)||2 ≤ ƒ T(t) Wn ƒ(t) ≤≤ wn,max||ƒ(t)||2 ≤ (wmax+w) ||ƒ(t)||2.Здесь wn,max и wn,min - величины максимального и ми-нимального собственных значений матрицы Wn , ко-торые сходятся к собственным значениям wmax и wminматрицы W. В результате в формулах (10), (11) и (12)норма ||ƒ(t)|| может быть заменена величиной[ ƒ T(t) Wn ƒ(t)]1/2. Соответствующие изменения про-изойдут с функцией H(s), которая превратится в квад-ратичную форму. По поводу оптимального выбораматриц Wn см. [4].Замечание 3. Для доказательства формулы (12) втеореме 2 использовано дополнительное условие (ж),которое не требуется для выполнения (10) и (11). Еслиимеют место только формулы (10) и (11), но не вы-полняется формула (12), то можно говорить о том, чтопри больших n в любой окрестности точки t=0 с веро-ятностью, сколь угодно близкой к единице, существу-ет локальный минимум статистики ƒ T(t) Wn ƒ(t) . Всвязи с этим можно рассматривать множество ло-кальных минимумовTn = Argu min t ƒ T(t) Wn ƒ(t),где оператор Argu min выделяет множество точек, вкоторых достигаются локальные минимумы функции.Таким образом, если имеют место только условия (а)- (е), то для оценкиƒn = UsSn ƒ(s), где Sn=Argu min sS(Y) H(s)свойство состоятельности выполняется в формеlim n P{inf ƒnƒn ||ƒn-ƒ|| > ƒ}=0 .Замечание 4. Для примеров, рассмотренных вовведении, из числа условий (а)-(е) выполняются всете, которые касаются меток B1(⋅). Лишь для второгопримера это требует дополнительного ограничения:0

Скачать электронную версию публикации