Ergodic estimates of the stationary probabilities of states of a marcovian chain with continuous time.pdf Одним из больших разделов теории вероятностей являет-ся так называемая эргодическая теория [1, 2], согласно кото-рой временные средние вероятностных характеристик слу-чайных процессов при определенных условиях совпадают сосредними по ансамблю его реализаций. Это открывает воз-можность построения оценок параметров случайных процес-сов по временным средним на конечном интервале наблюде-ния. Однако в реальности такими оценками пользуются оченьредко, потому что неизвестны их статистические свойства, вчастности, как правило, непонятно, как находить доверитель-ные интервалы для значений неизвестных параметров. В дан-ной работе делается попытка найти такие характеристики дляоценок стационарных вероятностей состояний дискретноймарковской цепи с непрерывным временем.ПОСТАНОВКА ПРОБЛЕМЫПусть имеется однородная неразложимая цепь Мар-кова k(t) с непрерывным временем t и конечным мно-жеством состояний k(t) = 1, N .Обозначим через Ti сумму длин всех интерваловвремени из [0, T], в течение которых цепь k(t) находи-лась в состоянии i. Оценку ƒˆ (i) стационарной вероят-ности ƒ(i) = P{k(t) = i} можно брать в видеƒˆ (i) = Ti T. (1)Целью данной работы является нахождение стати-стических характеристик этой оценки.АСИМПТОТИЧЕСКАЯНЕСМЕЩЕННОСТЬ ОЦЕНКИНайдем математическое ожидание этой оценки приусловии, что для цепи задано ее начальное состояниеk(0) = j, т.е. траектория движения по состояниям начи-нается из состояния j. Обозначим⎩ ⎨ ⎧=ƒ =0, если ( ) .1, если ( ) ,( ( ), )k t ik t ik t i (2)Тогда= ƒTTi k t i dt0( ( ), ) . (3)Отсюда= ƒ = =T TM Ti M k t t dt Pji t dt0 0{ } { ( ( ), )} ( )T i [P t i ]dtT= ƒ +  ji − ƒ0( ) ( ) ( ) , (4)где Pji (t) = P{k(t) = i | k(0) = j} есть вероятность пере-хода из состояния j в состояние i за время t.Обозначим f ji (t) = Pji (t) − ƒ(i). Тогда{ }= ƒ + Ti f ji t dtTM T T i0( ) 1 ( ) . (5)Но, как известно [1], j fji(t) при t   экспоненциальносходится к нулю. Поэтому интеграл, стоящий в (5), огра-ничен, и второе слагаемое стремится к нулю при t  ,что и говорит об асимптотической несмещенностиоценки вероятности ƒ(i).АСИМПТОТИЧЕСКАЯ ДИСПЕРСИЯ ОЦЕНКИПокажем теперь, что дисперсия оценки (1) убываеткак 1/T. Имеем{ ( ) , ( ) | (0) } .{ } { ( ( ), ) ( ( ), )}0 00 02P k t i k s i k j dtdsM T M k t i k s i dtdsT TT Ti  = = = == ƒ ƒ =Обозначим P{k(t) = i, k(s) = i⎢k(0) = j} как Pj(i, t, i, s).Тогда можно записать   ⎪⎭⎪⎬ ⎫⎪⎩ ⎪⎨ ⎧= +T t TtM Ti Pj i t i s ds Pj i t i s ds dt0 0{ 2} ( , , , ) ( , , , ) .Учитывая марковость рассматриваемого процесса,преобразуем этот интеграл к виду=   − +  − =T Ttji iiT tM Ti dt Pji s Pii t s ds dt P t P s t ds0 0 0{ 2} ( ) ( ) ( ) ( ) −=T t TPji t dt Pii s ds0 02 ( ) ( ) . (6)Переходя к функции fji(t), получим( ) ( )−= ƒ + ƒ +T tTM Ti i f ji t dt i fii s ds0 0{ 2} 2 ( ) ( ) ( ) ( ) .С другой стороны, как это следует из (5),= ƒ + TM Ti T i f ji t dt0{ } ( ) ( ) .Опуская преобразования, приведем результат:{ } = { 2}− 2{ } =D Ti M Ti M Ti= Tƒ i  f s ds − ƒ i  s(f s + f s )ds +Tii jiTii0 02 ( ) ( ) 2 ( ) ( ) ( )   ⎟⎟⎠⎞⎜ ⎜⎝⎛+ −T − TjiT tf ji t dt fii s ds f t dt020 02 ( ) ( ) ( ) . (7)Таким образом,{ } ⎟⎠⎞⎜⎝+ ⎛ƒ=  Tf s ds oTD T T iTi ii2 ( ) ( ) 10, (8)и первое слагаемое, определяющее основной член асимп-тотики, убывает как 1/T и не зависит от стартового со-стояния j. Отсюда также следует, что оценка ƒˆ (i) схо-дится к истинному значению стационарной вероятно-сти ƒ(i) в среднеквадратичном смысле.ОЦЕНКА ДИСПЕРСИИДля построения доверительного интервала для вероятно-сти ƒ(i) необходимо иметь оценку величины D{Ti/T}. Для еепостроения необходима более подробная информация.Пусть интервал наблюдения есть [0, T]. Далее, пустьв течение этого времени система побывала в состоянииi n раз и времена пребывания в этом состоянии были{T1, T2, T3,..., Tn}. Интервалы времени между пребыва-ниями системы в состоянии i обозначим как {V1, V2,V3,..., Vn}. Тогда очевидно, чтоƒ==nkT i Tk1) ( , ƒ=− =nkT T i Vk1( ) . (9)Из марковости рассматриваемого процесса следует,что k, l величины Tk и Vl независимы. Кроме того, для kвеличины Tk одинаково распределены; аналогично, для lвеличины Vl также одинаково распределены.Оценку (1) можно записать в видеƒ = =Tˆ (i) T(i)( )[( ) ( )]=+ + − + −+ −=ƒƒ==nkk k k k k knkk k kn M T M V T M T V M VnM T T M T11( { } { }) { } { }{ } { }ƒƒ==+ + ƒ + ƒ+ ƒ= nkk knkkT VnT VTnT1`0 01`01 ( )1, (10)где T0 = M{Tk}, V0 = M{Vk}, ƒTk = Tk − T0, ƒVk = Vk − V0.В силу усиленного закона больших чисел [2, 3],средние арифметические в (10) являются при n  бесконечно малыми величинами; поэтому с точностьюдо o(1/N) можно (10) переписать в виде=+ƒ + ƒ+ƒ+⋅+=ƒƒ==nkknkkT VT VnTTnT VTTT i1 0 001 00 001 11 1( )⎟⎠⎞⎜⎝+ ⎛⎭ ⎬ ⎫⎩ ⎨ ⎧⎟ ⎟⎠⎞⎜ ⎜⎝⎛ ƒ−ƒ⋅+++= ƒ=noVVTTT V nVT VT nk1 1 k k 10 0 1 0 000 00 .Отсюда имеем( ) ( )0 00 iT VTTM T i = ƒ+=⎭ ⎬ ⎫ ⎩ ⎨ ⎧,=⎭ ⎬ ⎫⎩ ⎨ ⎧+ ⎟⎟⎠⎞⎜ ⎜⎝⎛+ ⎟⎟⎠⎞⎜ ⎜⎝⎛+=⎭ ⎬ ⎫⎩ ⎨ ⎧202020 0020 0( ) 0 1 { } { }VD VTD TT V nVT VTTD T i k k⎭ ⎬ ⎫⎩ ⎨ ⎧= ƒ − ƒ + 20202 ( )(1 ( ))2 1 { } { }VD VTD Tni i k k . (11)Так как Tk имеют экспоненциальное распределение[1], то 2D{Tk } = T0 и поэтому=⎭ ⎬ ⎫⎩ ⎨ ⎧= ƒ − ƒ +⎭ ⎬ ⎫⎩ ⎨ ⎧20( ) 2 ( )(1 ( ))2 1 1 { }VD Vni iTD T i k2022 ( )(1 ( ))2 { }nV= ƒ i − ƒ i ⋅ M Vk . (12)Это выражение и позволяет построить оценкуD{ƒˆ (i)} = D{T(i) T}. Действительно, ƒ(i) = M{T(i)/T}.Оценкой { 2}k V M является величина ƒ=nkVkn 11 2 , а оценкойV0 - величина 1 ( ) .1 nn V T T inkk−= ƒ=Заменяя эти величиныих оценками, мы и получаем оценку D{ƒˆ (i)} :ƒ=ƒ =nkVkTD i T i124ˆ{ˆ ( )} 2 ( ) . (13)Для ее практического использования надо измерять ещевеличину ƒ=nkVk12 .Приведем еще другой вид формулы (12). Имеем T=.1 1ƒ ƒ= == +nkknkTk V Поэтому, в силу усиленного законабольших чисел, при n   ƒ ƒ= == + ⎯⎯nkknkk VnTn nT1пр11 10 0 .⎯⎯пнT +V Но так как = −++ −=+ 10 00 0 00 00T VT V TT VV1 ( )0 0T 0V iT = − ƒ+− , то при n   ⋅ ⎯⎯− ƒ п.н.01 ( )nTVi1 ( ) ( ) 1.0 00пр ⋅ + =− ƒ⎯⎯ T VViИспользуя это соотношение, можно утверждать, чтопри T   имеет место{ }{ }( ) 1 ( )(1 ( )) { }22kkM Vi i M VTD T i T = ⋅ ƒ − ƒ , (14)т.е. при больших T дисперсия оценки стационарнойвероятности ƒ(i) убывает как 1/T.АСИМПТОТИЧЕСКАЯНОРМАЛЬНОСТЬ ОЦЕНКИПокажем теперь, что построенная оценка являетсяасимптотически нормальной.Для проведения исследования рассмотрим случай-ный процесс I(t), значением которого является суммар-ное время из интервала [0, t], в течение которого цепьнаходится в состоянии i. Очевидно, чтоT(i) = I (T) , ƒˆ (i) = I (T) T .Пусть⎩ ⎨ ⎧==0, если ( ) .1, если ( ) ,( )k t ik t iv t (15)Известно, что время пребывания однородной цепи Мар-кова в каждом состоянии имеет экспоненциальное распре-деление с заданным параметром. Величину этого параметрадля состояния i обозначим как 1/T. Время возвращения в i-есостояние для цепи Маркова является случайной величиной,функцию распределения которого обозначим как V(s).Если v(t) = 0, то определим случайную величину z(t),равную длине интервала времени от момента t до мо-мента возвращения цепи Маркова в состояние i.Случайный процесс {v(t), I(t), z(t)} с переменнымчислом компонент является марковским. ОбозначимP{v(t) = 1,u ≤ I (t) < u + du}= P1(u,t)du ,P{v(t) = 0, u ≤ I (t) < u + du, z(t) < z}= P0 (u, z,t)du .Тогда имеют место равенства( , ) 1 1 ( , ) 0 ( , , ) ( )01 P u t P u t t o tTt t t t u P ƒ + ƒ + ⎟⎟⎠⎞⎜ ⎜⎝⎛ ƒ+ ƒ + ƒ = − ,( , ) ( ) ( ).( , , ) ( , , ) ( , , )100 0 0P u t V z o tTtP u z t t t P u z t P u t t+ ƒƒ+− ƒ + ƒ = − ƒ +Отсюда имеем следующую систему уравнений:( ,0, ) 1 ( , ) ( ).( , , ) ( , , ),( ,0, )( , ) ( , ) 1 ( , )1000 00101 1P u t V zz TP u tzP u z ttP u z tzP u tP u tu TP u ttP u t+−−=+ =+, (16)Решение полученной системы определяет распреде-ление вероятностей процесса I(t), что позволяет найтивсе характеристики оценки ƒˆ (i) .Найдем решение этой системы в асимптотическом слу-чае T  . Для этого в (16) выполним замену 1/T = ƒ, tƒ = ƒ ,uƒ = x , 1 ( , , ) = ƒ ( , , ƒ,ƒ)ƒPr u z t r x z . Тогда получаем1 ( , , ) ( ).( , , , ) ( , , , ) ( ,0, , )( ,0, , ) ,( , , ) ( , , ) 1 ( , , )100 0 00101 1T x V zzxzx z x zzxx T xx x+ ƒ ƒ ƒ+ƒ ƒ ƒ−ƒ ƒ ƒ=ƒƒ ƒ ƒƒƒ ƒ ƒ=+ ƒ ƒ ƒ =ƒ ƒ ƒ+ ƒƒƒ ƒ ƒƒ(17)Эту систему будем решать в два этапа.Этап 1. Делаем предельный переход ƒ  0 и обо-значаем ƒr(x, z, ƒ, 0) = ƒr(x, z, ƒ) Тогда система (17) при-нимает вид1 ( , )(1 ( )).( , , ) ( ,0, ) 1 ( , ) ( )1 ( , ) ( ,0, ) ,10100 0010T x V zz T x V zxzx zzT x x= ƒ ƒ −− ƒ ƒ =ƒ ƒ=ƒ ƒƒ ƒƒ ƒ =(18)Следовательно,ƒ ƒ = ƒ ƒ  −zx V s dsTx z0100 ( , , ) 1 ( , ) (1 ( )) ,( , ),( , ) lim ( , , ) 1 ( , ) (1 ( ))1000100 0= ƒ ƒ= − ƒ ƒ = ƒ ƒ = ƒ ƒ x TVx x z T x V s dsz (19)где   = − =0 0V0 (1 V(s))ds sdV (s) .Обозначим ƒ(x, ƒ) = ƒ0 (x, ƒ) + ƒ1 (x, ƒ) . Тогда⎪ ⎪⎩⎪ ⎪⎨⎧ƒ ƒ+ƒ ƒ =ƒ ƒ+ƒ ƒ =( , ) ( , ) .( , ) ( , ) ,0 0010 000xT Vx TxT Vx V(20)Этап 2. В системе (17) положим z   и сложим обауравнения. Тогда получим ( , , ) 1( , , ) = 0ƒƒ ƒ ƒ+ ƒƒƒ ƒ ƒƒ x x ,откуда можно записатьxxT VTxx xƒ ƒ+= −ƒ ƒ= −ƒƒ( , ƒ) ( , ) ( , )0 01 0 .Следовательно, для ƒ(x, ƒ) имеем вырожденное урав-нение Фоккера−ПланкаxxT Vx Tƒ ƒ+= −ƒƒ( , ƒ) ( , )0 00 (21)с равным нулю коэффициентом диффузии и тогда0 0( ) 0T Vx T+ ƒ = , ƒ+ƒ =0 0( ) 0T Vx T . (22)Возвращаясь к исходным переменным, получим,что при T  TtT Vx TTI t ⋅+= ƒ =0 0( ) ( ) 0 , так чтоlim ( ) ( ) ( )0 00 iT VTTI TTI iT= ƒ+= =, (23)что еще раз говорит об асимптотической несмещенно-сти оценки ƒˆ (i) .Для доказательства асимптотической нормальности оце-нки в исходной системе (16) выполним замены переменных:1 = ƒ2T, tƒ2 = ƒ, uƒ2 = x(ƒ) + ƒy, 1 ( , , ) = ( , , ƒ, ƒ)ƒ Pr u z t Hr y z .Тогда система (16) примет вид( , , , ) ( ,0, , ) 1 ( , , ).( , , , ) ( ) ( , , , )1 ( , , ) ( ,0, , ) ,( , , ) ( ) ( , , ) ( , , )200 02 0 00102 1 1 1+ ƒ ƒ ƒ ƒ− ƒ ƒ== ƒ ƒ− ƒ  ƒƒ ƒ ƒƒ ƒ ƒ+ ƒ ƒ =+ƒ ƒ ƒ+ ƒ ƒ ƒ− ƒ  ƒƒ ƒ ƒƒz T H yH yzH y zyH y z x H y zzT H y H yH yyH y x H y(24)Полученную систему будем решать в три этапа.Этап 1. Сделаем предельный переход ƒ  0 и обозначимHr(y, z, ƒ, 0) = Hr(y, z, ƒ). Тогда система (24) примет вид1 ( , ) 0 ( ,0, ) ,10 zH y H yT  ƒƒ =1 ( , )(1 ( )).( , , ) ( ,0, ) 1 ( , ) ( )10100 0H y V zTH y V zz TH yzH y z= ƒ −− ƒ = ƒ= ƒТогда ƒ = ƒ  −zH y V s dsTH y z0100 ( , , ) 1 ( , ) (1 ( )) .При z   получимƒ = ƒ =0 ( , ) lim 0 ( , , ) H y H y zz1 ( , ) (1 ( )) ( , ).100010ƒ = − ƒ = y H TVT H y V s dsОбозначив H( y, ƒ) = H0 ( y, ƒ) + H1( y, ƒ) , получим⎧ƒ+ƒ =ƒ+ƒ =( , ) ( , ),( , ) ( , ),0 0010 000H yT VH y TH yT VH y Vƒ  −+ƒ =zH y V s dsT VH y z0 0 00 ( , , ) 1 ( , ) (1 ( )) . (25)Этап 2. Решение системы (24) будем искать в виде( , , ) ( , ) (1 ( )) 0 ( , , ) ( ),0 0 00 − +ƒ ƒ + ƒ+ƒƒ =  V s ds h y z oT VH y z H yz( , ) ( , ) 1 ( , ) ( ).0 001 ƒ + ƒ ƒ + ƒ+ƒ = H y h y oT VH y TПодставляя эти разложения в систему (24) и произ-водя упрощающие преобразования, получим1 ( , ) ( ,0, ) ( ( ) 1) ( , ) ,0 00 010 yH yT Vx Tzh y h yT  ƒ+=  ƒ − ƒƒ −+ ƒ = ƒ− ƒ( , , ) ( ,0, ) 1 ( , ) ( )100 0 h y V zz Th yzh y z( ) ( , ) (1 ( )) .0 0 0 − ƒ⋅+ ƒ= −zV s dsyH yT Vx (26)Решение этой системы относительно функций h1(y, ƒ)и h0(y, z, ƒ) будем искать в видеyh y h H y ƒ1( , ƒ) = 1 ( , ) ,yh y z h z H y ƒ0 ( , , ƒ) = 0 ( ) ( , ) .Тогда, подставляя это решение в систему (26), послеряда преобразований получим,( )(0) 20 00 0010 T VT VTh h+ = +( ) 1 1 (1 ( )) .( ) (1 ( ))0 0 020 00 00 010T V V V s ds dyT VT V s dsh z hz yz ⎭ ⎬ ⎫⎩ ⎨ ⎧− −++= − +(27)Найдем отсюда значение h0(). Преобразуя повтор-ный интеграл, можно получить0220 00 01000 ( ) 2( )VVT Vh T VTh V ⋅+ = + , (28)где ( )02V2  s dV s= . Отсюда, в частности, следует, что0220 00200 0 0 1 ( ) 2( )VVT VT h V h T V ⋅+ − = . (29)Этап 3. В системе (24) перейдем к пределу z   исложим получившиеся уравнения:2 ( , , ) ( ) ( , , ) 1 ( , , ) = 0 ƒ ƒ+ ƒ ƒ ƒ− ƒ  ƒƒ ƒ ƒƒyH yyH y x H y .Переходя к функциям h1(y, ƒ) и h0(y, z, ƒ), получимпосле ряда преобразований следующее уравнение:220 0( , ) 0 0 ( ) 0 1 ( , )ƒ ƒ+ −=ƒ ƒ H yT VH y T h V h .Обозначив 32 0 020ƒ2 = T V (T +V ) , с учетом (29) имеем22 2 ( , )2( , )ƒ ƒ⋅ƒ=ƒH y ƒ H y . (30)Решение (30) имеет вид⎟ ⎟⎠⎞⎜ ⎜⎝⎛ƒ ƒ−ƒƒ ƒƒ = 222 2exp2H( y, ) 1 y . (31)В силу замены uƒ2 = x(ƒ) + ƒy можно утверждать, чтовеличина I(t)/T = x(ƒ) + ƒy имеет асимптотически нор-мальное распределение с математическим ожиданием идисперсиейTtT Vx TTM I t ⋅+= ƒ =⎭ ⎬ ⎫⎩ ⎨ ⎧0 0( ) ( ) 0 ,TtT TD I t ⋅ƒ=⎭ ⎬ ⎫⎩ ⎨ ⎧( ) 2 .Поэтому и оценка стационарной вероятностиƒˆ (i) = I (T) T при T   имеет асимптотически нор-мальное распределение с параметрами0 0{ˆ ( )} 0T VM i T+ƒ = , 30 02202( ){ˆ ( )} 1T VT VT TD i+= ⋅ƒƒ = ,что совпадает с тем, что было получено ранее.

Скачать электронную версию публикации