The explicit form of information characteristic for partially defined data.pdf Пусть M = { 0 ,1 , .. .,m - 1} и каждому непустому подмножеству T С M сопоставленсимвол ат. Алфавит символов ат обозначим через A, а его подалфавит{а 0, ai , . .. , ат - 1 }, символы которого соответствуют элементам множества M , - черезA0. Символы из A0 будем называть основными, из A - недоопределенными. Доопределениемсимвола ат . A назовем всякий основной символ ai, i . T . Символам, доопределимый любым основным символом, будем называть неопределенным иобозначать *.Пусть имеется источник X , порождающий символы ат . A независимо с вероятностямирт ^ 0, . т Рт = 1. Такой источник будем называть недоопределенным, привыполнении условия рт = 0 для ат . A0 - полностью определенным, а в случае рт = 0для ат . A0 U {* } - частично определенным.Основные информационные характеристики недоопределенных данных заданынеявно как результат оптимизации некоторых выражений. Так, например, энтропияисточника X вводится формулойH (X ) = - S Р т log S qi т ем ieт } ,где минимум берется по наборам Q = (qi, i . M ), qi ^ 0, i qi = 1 [1] (здесь и дальшелогарифмы двоичные). Неявный вид информационных характеристик существеннозатрудняет их исследование и нахождение соотношений между ними. Однако дляважного и наиболее часто встречающегося типа недоопределенных данных - частичноопределенных удается решить соответствующие оптимизационные задачи и найтиявные представления информационных характеристик.Явное выражение энтропии частично определенного источника X с алфавитомA = {а 0, . .. , ат - 1 , * } и набором вероятностей р0, . .. ,pm -i,p* имеет видH (X ) = (1 - P*) l og(1 - Р*) - ^ Pi log Pi.0^i^m- iЕсли произведение X Y частично определенных источников X и Y с алфавитамиA = {а 0, . .. , ат - 1 , *} и B = {b0, . .. , 6г-1 , * } задано совместным распределением pij ,Pi*, P*j, P** (i . { 0 , . . . ,m - 1}, j . { 0 , . . . , / - 1}), то условная энтропия H(Y|X)(определение см. в [2]) вычисляется следующим образом. Положим pi = . j P j + pi*,P* = Z jP * j + P**, qi = Pi/(1 - P*), nij = Pij + qiP*j, ni = Z j nij. ТогдаH(Y|X) = ni log ni - ^ nij log nij.i i,jПравило сложения энтропий H (X ) + H(Y|X) = H (X Y ), играющее важную рольв теории информации, в случае недоопределенных данных заменяется некоторым болеесложным соотношением - обобщенным правилом (условия, при которых обобщенноеправило совпадает с обычным, приведены в [2]). Доказательство обобщенногоправила в общем случае достаточно громоздко. Для частично определенных данныхможно дать более простое прямое доказательство, используя приведенные выше явныепредставления.Количество информации I (X, Y ) в X о Y находится из соотношения I (X, Y ) == H (Y ) - H(Y|X) и для частично определенных данных выразимо в явном виде.Рассмотрим пример. Пусть выход полностью определенного источника X , порождающегосимволы 0 и 1 с вероятностями р0 и p 1, подается на вход канала, где символыстираются (заменяются на *) с вероятностью е. Требуется вычислить информациюI(Y , X ) в выходе Y канала о его входе X и информацию I (X, Y ) во входе X о выходе Y .Используя приведенные выше формулы, получаемI (Y, X ) = Н (p0,p 1 ) - роН (ер1 , 1 - ер1 ) - Р1Н (еро, 1 - еро),I (X, Y ) = (1 - е)Н (ро,р1 ),где Н (x0,x 1) = -x0log x0 - x 1 lo g x 1.

Скачать электронную версию публикации