The generalized nonparametric regression and its properties.pdf На современном этапе развития теории обучающихся систем настойчиво обсуждается и разрабатывается идея о совместном использовании разнотипных моделей - как средства наиболее полного учета априорной информации. Известно яркое высказывание профессора В. Хардле [1]: «Совмещение параметрических и непараметрических составляющих может даже привести к построению лучшей модели, чем непараметрический или параметрический подход!». Получены первые успешные результаты исследований в данном направлении, к которым можно отнести методы локальной аппроксимации [2], гибридные модели [3-5], полупараметрические и частично линейные модели [1]. Разработан новый класс непараметрических моделей коллективного типа для решения задач восстановления стохастических зависимостей [6], распознавания образов [7] и анализа временных процессов [8]. Синтез подобных моделей сводится к непараметрическому оцениванию функционалов от семейства регрессий, построенных относительно системы «опорных» точек из экспериментальных данных. Их применение позволяет в наиболее полном объёме использовать информацию обучающей выборки, содержащуюся в её элементах, и взаимосвязи между ними. Цель данной работы стоит в развитии методики синтеза обобщённой непараметрической регрессии, основанной на сочетании преимуществ параметрических и локальных аппроксимаций восстанавливаемой функции и исследовании её свойств. 1. Синтез обобщённой непараметрической регрессии Пусть дана выборка V = (X, y1, i = 1, n) из статистически независимых наблюдений значений yi неизвестной однозначной зависимости y = F (x) V x e Rk (1) и её аргументов x1. Полагается, что элементы выборки V проверены на наличие ошибок контроля и последние удалены. Причём соблюдается условие у1 Ф 0, i = 1, n , необходимое при использовании относительной ошибки аппроксимации восстанавливаемой зависимости. Поставим в соответствие некоторым точкам (x1, y1) обучающей выборки V , условно назовём их опорными, упрощённые аппроксимации ф1 (x, а) зависимости (1), параметры а которых удовлетворяют условиям 1 i 1 —1 \ У =Ф1 (x , а ), 1 n 2 У( -Ф1 (xj, а')) , 1 = 1, N. (2) а = argmin а n - -1 j=1 j Упрощённые аппроксимации ф1 (x, а1), например линейные, проходят через опорные точки (x1, y1, i = 1, N) и близки в среднеквадратическом к остальным элементам обучающей выборки V . Примем в качестве статистической модели зависимости (1) процедуру условного усреднения (3) N ) = УФ1 ( а' (x ) = i =1 где положительная функция X1 (x) определяет «вес» правила ф1 (x, а1) при формировании решения в ситуации x. Причём сумма X1 (x), i = 1, N, равна единице. Примером функции X1 (x) является «весовая» функция k ( x - г Пф ^^ v=1 V v X1 (x) = N k (x - xi Л УПФ 1=1 v=1 V v у Л составленная из положительных, нормированных и симметричных «ядерных» Л функций cv ф ли [9]. В этом случае при ф1 (x, а1) = у1 и N = n статистика (3) преобразуется в традиционную непараметрическую регрессию n y = ф(x) = у y1 X1 (x) . 1=1 Проведём анализ обобщённой непараметрической регрессии (3) для линейных упрощённых аппроксимаций на основе которых строятся непараметрические модеk _ ф1 (x, а1 ) = УаVXv +Pi , i = 1, N. v=1 Заметим, что в соответствии с методикой синтеза статистики ф( x) (3) k ft = У -Z V=1 i i avXv , а параметры a'v, i = 1, N, определяются из условия минимума критерия (2). Тогда Ф1 (x,a1) = у +Zav(xv-xV), i = 1N. (4) V=1 Подставляя упрощённые аппроксимации (4) в выражение (3), получим N N k ф^) = zУ хi (x)+ZZav (xv - xv) (x). (5) i=1 i=1 v=1 Первое слагаемое в выражении (5) представляет собой непараметрическую регрессию, обладающую свойствами асимптотической сходимости к условному математическому ожиданию - оптимальной модели (1) в среднеквадратическом смысле [10, 11]. Вторая составляющая (5) играет роль поправочного члена и отражает условную взаимосвязь между точками обучающей выборки. Его значения, в соответствии с особенностями первого слагаемого (5), снижаются по мере роста объёма исходной информации, что подтверждается результатами аналитических исследований [11]. Наличие поправочного члена делает статистику (3) схожей с гибридными моделями, а слабая зависимость её свойств от вида опорных функций - с непараметрической регрессией. Для синтеза обобщённой непараметрической регрессии разработана итерационная процедура формирования системы опорных точек. Идея предлагаемого метода основывается на последовательном анализе относительных расхождений между значениями восстанавливаемой зависимости и строящейся обобщённой непараметрической регрессии Yt (фj (x), j = 1, t): i 6 h y -Yt (ф; (x), j = 1,t) W (i ) = y где Ij = I \ It - множество номеров точек, не входящих в число опорных с номерами из множества It, а I - множество номеров точек исходной выборки. Если модель Yt (ф j (x), j = 1, t) в некоторой точке x1 имеет максимальное расхождение с экспериментальным значением у1, то естественно принять эту точку (x, у1) в качестве опорной при построении (t +1) упрощённой аппроксимации. Процедура формирования опорных точек заканчивается на t -й итерации, когда ошибка аппроксимации W (((ф j (x ) j = й) ) = J77 z W (i )< W Vt I ieIr меньше заданного порога W , удовлетворяющего пользователя. Здесь |I-| - коли чество элементов множества IT. 2. Модификация обобщённой непараметрической регрессии Для повышения аппроксимационных свойств обобщённой непараметрической регрессии предлагается учитывать статистические оценки эффективности W1 упрощённых параметрических аппроксимаций ф1 (x, a1), i е I0. Здесь I0 - множество номеров опорных точек из выборки V . В качестве показателя эффективности 1-й аппроксимации может выступать среднеквадратический критерий W1 = - -тi(-Ф1 (, a1 ))2, i е I0. 1 1 1 j=i j *i Учёт эффективности целесообразно осуществить, вводя в «весовую» функцию X1 (x) ядерную меру близости между значением W1 и её минимальным значением (нулём). В результате полученная модификация обобщённой непараметрической регрессии (3) с учётом оценок эффективности упрощённых параметрических аппроксимаций имеет вид ' ' '0 - W1 ф v=1 * f х, - xЛ * fX, - x ^ ХФ1 (x,a1) Пф V cv J ф(x ) = : 0 - W1 ф V cv J c 1el v=1 где cw - параметр ядерной функции ф её определения. f 0 - W1 л который характеризует область 3. Асимптотические свойства обобщённой непараметрической регрессии Для удобства последующего анализа предположим, что x - скаляр и закон распределения p (x) известен. Тогда обобщённая непараметрическая регрессия типа (3) будет иметь вид (6) 1 N f x - x \ 1 N f x фМта! y

Скачать электронную версию публикации