Непараметрическое оценивание функционалов от условных распределений последовательностей сильного перемешивания
В работе предлагается метод оценивания функционалов от условных распределений при непараметрической неопределенности по наблюдениям, удовлетворяющим условиям сильного перемешивания, на основе кусочно-гладких аппроксимаций оценок подстановки, для которых выведены формулы главных частей асимптотических среднеквадратических ошибок с улучшенной скоростью сходимости. Полученные результаты применены для решения задачи идентификации нелинейной авторегрессии первого порядка.
Nonparametric estimation of functionals of conditional distributions for strong mixing sequences.pdf Определим класс условных функционалов формулой( ) ( , ( ) ( ) ( | ) ) ( ),( ) ( )J x g y f y x dy g y f x y dy G xp x p x= = = (1)где g() - известная измеримая по Борелю скалярная функ-ция, f(x,у) - неизвестная плотность распределения наблю-даемой двумерной случайной величины Z = (X,У) R2,G(x)= g(y)f (x,y)dy,p(x) - маргинальная плотность рас-пределения величины Х, ( | ) ( , )( )f y x f x yp x= - условная плот-ность распределения.Интегрирование, если не оговорено иначе, проводитсяна всей числовой оси или плоскости, т.е. 1, 2 R R.Приведем примеры условных функционалов (1).Так, условное математическое ожидание, или функциярегрессии выхода стохастического объекта относительновхода, является моделью, минимизирующей среднеквадра-тическую ошибку (СКО) истинных выходов объекта и мо-дели:( ) ( | ) ( | ) ( , ) .( )r x E Y X x yf y x dy yf x y dyp x= = = =Обычно при построении модели учитываются не всевходы реального объекта, поэтому возникает погрешность,связанная с упрощением регрессионной модели относи-тельно истинной структуры объекта.Эту погрешность можно измерять остаточной (услов-ной) дисперсией2( | ) ( , ) 2( ).( )D Y x y f x y dy r xp x= −Для характеристики уровня сложности объекта приме-няются также такие его статистические характеристики, какусловные коэффициенты асимметрии и эксцесса. В этомслучае g(у) = уk, k = 1, 2, 3, 4; более сложные функции g(у)заданного вида используются при поcтроении оптимальныхоценок прогноза (см. гл. 8 в [1] ).1. ПОСТАНОВКА ЗАДАЧИПростые непараметрические ядерные оценки под-становки [2. С. 91] условных функционалов J(x) вточке x согласно [1. С. 28] имеют вид1 1( ) ( ) ( ) ,( )n nn i in in i n i nJ x G x gY K x X K x Xp x = h = h⎛ − ⎞ ⎛ − ⎞= = ⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠(2)где n( ) 1nG xnh=1( )niii ng Y K x X= h⎛ − ⎞ ⎜ ⎟⎝ ⎠,Zi = (Xi,Yi), i= 1,n- двумерная выборка, характеризуемая плотностьюf(x,у),n( ) 1np xnh=1nii nK x X= h⎛ − ⎞ ⎜ ⎟⎝ ⎠,К(u) - ядерная функция, последовательность чиселhn>0 удовлетворяет условию lim n 0.nh=Согласно (2),при g(y) = y получаем известную ядерную оценку рег-рессии Надарая-Ватсона [3,4].Применение оценок типа (2) иногда приводит кнежелательным эффектам. Например, при некоторыхзначениях параметров модели оценки (2) становятсянеустойчивыми, в частности, если |рn(x)| < для дос-таточно малых .Другая проблема состоит в том, что теоретическаявозможность равенства рn(х) = 0 (например, когда ис-пользуются знакопеременные ядра [5], улучшающиескорость сходимости в среднеквадратическом ядер-ной оценки Jn(x) к функции J(x)) не позволяет из-занеустойчивости оценки типа (2) в явном виде сфор-мировать мажорантную последовательность и опре-делить главную часть СКО оценки Jn(x) в соответст-вии с методами, изложенными в [1, 6, 7].Известны следующие три метода решения этихпроблем.1. Ограничивать область U, в которой р(х) > 0 [8],при исследовании свойств сходимости оценки Jn(x).2. Налагать на случайную величину g(Y) и ядроК(u) дополнительные условия:|g(Y)|< [3], sup [exp( | ( ) |] ,YE agY < a > 0 [9],K(u) ≥ 0 [3,9].3. Использовать усеченные модификации знамена-теля оценки (2) [1. C. 68].В работе предлагается четвертый метод решенияуказанных проблем: оценивание функционала (1) принепараметрической неопределенности с помощью ку-сочно-гладких аппроксимаций оценок (2), для кото-рых можно найти главные части асимптотическихСКО с улучшенной скоростью сходимости, причемнаблюдения удовлетворяют условиям сильного пере-мешивания (с.п.).Полученные результаты применены при решениизадачи идентификации нелинейной авторегрессиипервого порядка и позволяют также исследовать бо-лее общие динамические системы, в том числе про-цессы авторегрессионного типа со свойствами с.п. [1.С. 146].Сходимость с вероятностью 1 для последователь-ностей с.п. оценок типа (2) исследовалась в [11] , нопроблема вычисления СКО таких оценок осталась неисследованной. В [9] найдена главная часть асимпто-тической оптимальной СКО оценки Надарая - Ватсонадля с.п. последовательностей, но с традиционной ско-ростью сходимости.2. КУСОЧНО-ГЛАДКАЯ АППРОКСИМАЦИЯКЛАССИЧЕСКИХ ОЦЕНОКПредставим функционал J(x) в видеJ(x)=H(a1(x),a0(x))=a1(x) a0(x). (3)Согласно [1. С. 17], назовем базовыми функциона-лами функцииa1(x) = g(y)f(x,y)dy и a0(x) = f(x,y)dy= p(x).Для преодоления ограничений, указанных в п.2, иувеличения устойчивости оценки Jn(x) в области, вкоторой знаменатель рn(х) в (2) близок к нулю, при-меним следующую кусочно-гладкую аппроксимацию(см. [7] ) для оценки (2):[ ],( )( ) ,(1 | ( ) | )nnn v nJ x J xJ x =+
Ключевые слова
Авторы
Кошкин Геннадий Михайлович | Томский государственный университет | профессор, доктор физико-математических наук, профессор кафедры теоретической кибернетики факультета прикладной математики и кибернетики | kgm@fpmk.tsu.ru |
Пивен Иосиф Годулович | Томский государственный университет | преподаватель факультета прикладной математики и кибернетики | borats@mail.tomsknet.ru |
Всего: 2
Ссылки
Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигналов. М.: Наука. Физматлит, 1977.
Боровков А.А. Математическая статистика. Новосибирск: Наука,1997.
Надарая Э.А. Об оценке регрессии // Теория вероятностей и ее применения. 1964. Т. 19. Вып.1. С. 147-149.
Watson G.S. Smooth regression analysis // Sankhya. Indian J. Statist. 1964. V. A26. P. 359-372.
Gasser T., Muller H.-G. Kernel estimation of regression functions // Lect. Notes Math. V. 757. P. 23-68.
Кошкин Г.М. Асимптотические свойства функций от статистик и их применения к непараметрическому оцениванию // Автоматика и телемеханика. 1990. № 3. С. 82-97.
Кошкин Г.М. Моменты отклонений оценки подстановки и ее кусочно-гладких аппроксимаций // Сиб. мат. журн. 1999. Т. 40. № 3. С. 605-618.
Алексеев В.Г. О непараметрических оценках кривых и поверхностей регрессии // Автоматика и телемеханика. 1988. № 7. С. 81-87.
Bosq D., Cheze-Payaud N. Optimal asymptotic quadratic error of nonparametric regression function estimates for a continuous-time process from sampled-data // Statistics. 1999. V. 32. P. 229-247.
Stone C.J. Consistent nonparametric regression // Ann. Math. Statist. 1977. V. 5. No. 4. P. 595-645.
Masry E. Nonparametric estimation of conditional probability densities and expectations of stationary processes: strong consistancy and rates // Stochastic Processes and Apll. 1989. V. 32. No. 1. P. 109-127.
Ибрагимов И.А., Линник Ю.В. Независимые и стационарно связанные величины. М.: Наука, 1965.
Боровков А.А. Курс теории вероятностей. М.: Наука, 1972. С.19.
Rosenblatt M. Remarks on some nonparametric estimates of a density function // Ann. Math. Statist. 1956. V. 27. No. 3. P. 832-837.
Parzen E. On estimation of a probability density function and mode // Ann. Math. Statist. 1962. V. 33. No. 3. P. 1065-1076.
Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. М.: Мир, 1988. 408 с.
Надарая Э.А. непараметрическое оценивание плотности вероятностей и кривой регрессии. Тбилиси: Изд-во Тбил. ун-та, 1983.
Кошкин Г.М. Улучшенная неотрицательная ядерная оценка плотности // Теор. вероятн. и ее примен. 1988. Т. 33. Вып. 4. С. 817-822.
Давыдов Ю.А. О сходимости распределений, порожденных стационарными случайными процессами // Теор. вероятн. и ее примен. 1988. Т. XIII. Вып. 4. С. 730-737.
Надарая Э.А. Непараметрические оценки кривой регрессии // Тр. ВЦ АН ГССР. Тбилиси: Мецниереба, 1965. № 5:1. С. 56-68.
Цыбаков А.Б. О выборе ширины окна в ядерной непараметрической регрессии // Теор. вероятн. и ее примен. 1987. Т. 32. Вып. 1. С. 153-159.
Балтрунас Й.Й., Рудзкене В.Ю. Нелинейные стохастические процессы авторегрессии // Тр. АН ЛитССР. Сер. Б. 1984. Т 3(142). С. 81-90.
Балтрунас Й.Й., Рудзкене В.Ю. Регулярность процесса нелинейной авторегрессии // Тр. АН ЛитССР. Сер. Б. 1986. Т 2(153). С. 118-122.
Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. М.: Наука, 1972.
Билингсли П. Сходимость вероятностных мер. М.: Наука, 1977.
Koshkin G.M., Piven I.G. Nonparametric estimation in nonlinear autoregression processes // Обозр. прикл. и промышл. матем. 2001. Т. 8. Вып. 1. С. 385-386.
Bradley R., Bryc W. Multilinear forms and measures of dependence between random variables // J. Mult. Anal. 1985. V. 16. No. 3. P. 335-367.
Collomb G. Estimation non parametrique de la regression par la metode du noyau: These Docteur Ingenieur. Toulouse: Univ. Paul-Sabatier, 1976.
Kitaeva A.V., Koshkin G.M. Piven I.G., Ryumkin V.I. Nonparametric identification of dynamic systems // Пробл. синт. и проект. сист. автоматич. упр.: Матер. науч.-практич. сем. Новосибирск: Изд-во НГТУ, 2001. С. 97-100.
Kitaeva A.V., Koshkin G.M. Piven I.G., Ryumkin V.I. On nonparametric karnel identification of nonlinear autoregression process // The 5th Korea- Russian Intern. Symp. on Science and Techn.: Proceed. KORUS 2001. V. 2. Tomsk: Tomsk Polytechnic University. P
Schuster E.F. Joint asymptotic distribution of the estimated regression function at a finite number of distinct points // Ann. Math. Statist. 1972. V. 43. № 1. P. 84-88.
Masry E. Probability density estimation from sampled data // IEEE Trans. Inf. Theory. 1983. V. IT-29. No. 5. P. 696-706.