2-9. КОЛИЧЕСТВО ИНФОРМАЦИИ

В процессе связи получатель судит о состоянии интересующего его источника информации, находящегося на передающей стороне, по принятому сигналу, т. е. по характеру сигналов на выходе приемника.

До принятия сигнала на приемной стороне неизвестно, в каком состоянии находится объект (источник информации), но если известны вероятности наступления всех возможных его состояний, то неопределенность ситуации до приема сигнала может быть оценена энтропией Н (х) этих состояний. Часто эту энтропию называют априорной энтропией.

1осле принятия сигнала неопределенность ситуации, во всяком случае, не увеличивается. Она остается прежней, если принятый сигнал не отражает состояния источника, интересующего получателя (например, в случае отсутствия связи или принятия сигнала другой станции). Она уменьшается, если между принятым сигналом и состоянием источника имеется некоторая степень соответствия. Наконец, неопределенность ситуации после приема.сигнала может полностью исчезнуть, если между состоянием источника и состоянием отражающего его сигнала установлено однозначное соответствие (это возможно лишь при отсутствии помех и искажений).

Неопределенность ситуации после принятия сигнала оценивают апостериорной энтропией Ну(х). Индекс у в этом обозначении указывает на то, что энтропия состояний источника х вычисляется при условии, что известно состояние сигнала у.

Таким образом, в результате приема сигнала происходит уменьшение неопределенности с Н{х) до Ну(х)Н(х).

Представляется естественным оценивать количество информации 1(х, у) о состоянии источника X, содержащейся в сигнале у, количеством снятой в результате приема сигнала неопределенности, т. е. разностью априорной и апостериорной энтропии:

1(х,у) = Н(х)-Ну(х). (2-30)

Из определения (2-30) вытекают следующие свойства количества информации:

1. Количество информации измеряется в тех же единицах, что и энтропия (см. § 2-8), чаще всего в двоичных единицах.

2. Количество информации всегда неотрицательно:

1{х.у)>0.

3. Никакое преобразование сигнала не может увеличить содержащейся в нем информации о состоянии источника информации. Действительно, первый член выражения для количества информации является энтропией источника информации и поэтому не зависит от преобразований принятого сигнала. Что касается второго члена, то обратимые преобразования

(например, усиление) его не изменяют, а необратимые преобразования и искажения могут лишь увеличить апостериорную энтропию. Следовательно, обратимые преобразования сигнала не изменяют содержащегося в нем количества информации, а обратимые преобразования могут разрушать эту информацию.

4. Количество информации 1{х, у) о каком-либо источнике х, содержащееся в сигнале у, не больше энтропии этого источника:

1{х,у)Н(х).

Это следует из того, что энтропия Ну(х) не может быть отрицательной величиной.

5. Количество информации, содержащееся в источнике хо самом себе, равно его энтропии:

1(х,х) = Н(х).

В частном случае, когда т возможных состояний источника равновероятны и независимы друг от друга, каждое его состояние несет информацию

/ (х, х) = log т.

а последовательность, состоящая из и состояний (например, телеграмма длиной в п знаков, составленная из т равновероятных символов), несет информацию

I(x,x) = nlogm = logm (2-31)

Нетрудно заметить, что

N = m .

представляет собой число возможных равновероятных последовательностей состояний такого источника длиной п.

Таким образом, в данном частном случае количество информации, содержащееся в источнике информации, определяется логарифмом числа возможных последовательностей состояний источника (числа возможных равновероятных событий), из которых осуществляется выбор при получении информации.

2-10. СВЯЗЬ МЕЖДУ ДВУМЯ ГРУППАМИ СОБЫТИЙ

Ниже дана методика вычисления количества информации, содержащейся в одном объекте (у) о другом объекте (х). Состояния этих объектов образуют две группы событий, между которыми может существовать та или иная степень вероятностной связи (рис. 2-17). Пусть при этом известны вероятности P{Xi) наступления событий X, вероятности Р(Уз) наступления событий у, а также вероятности P{Xi, yj) совместного наступления событий xi и у,.

Такая система двух групп случайных событий особенно важна для технических приложений, поскольку к ней сводится всякое устройство связи. Действительно, за

группу событий X могут быть приняты различные состояния передатчика (посылка сигнала), а за группу событий у - различные состояния приемника (прием или неприем сигнала). Связь между двумя группами событий осуществляется по линии связи.

Однако рассматриваемый случай имеет значительно более широкое применение. Схема рис. 2-17 может быть использована при анализе взаимосвязи между двумя классами явлений. При этом явления х к у

Рис. 2-17. Схема двух групп событий.

вовсе не обязательно должны поддаваться количественной оценке. Можно например, интересоваться, какое количество информации несет форма обнаруженных под микроскопом бактерий о ходе болезни. Однако события х (так же как и собы- тия у) должны быть хорошо различимыми и должна иметься возможность оценить вероятность наступления этих событий.

В системе двух групп событий можно определить несколько значений энтропии.

Неопределенность наступления событий X может быть оценена энтропией

Я(Х) = -Е/>(Х;) logP(,-).

Неопределенность наступления событий у может быть оценена энтропией

H(y) = -I.P{yj)\ogP{yj). i

Кроме того, можно обратить внимание на события, заключающиеся в совпадении события Хг с событием Уз, и оценить неопределенность состояния всей системы энтропией

Я(х.4,) = - Е 2 Р(хь У О log Р (Xi, У1). i i

В частном случае, когда события х независимы от событий у (например, линия связи оборвана), энтропия системы равна сумме энтропии обеих групп событий (см. §2-8):

Нгг,(х,у) = Н(х) + Н{у).

Однако это произойдет лишь при отсутствии взаимосвязи между событиями х и событиями у. Если же события х и события у в какой-то степени взаимосвязаны, то

Н(х,у)<Н(х) + И{у\.

Таким образом, наличие внутренних связей уменьшает (разрушает) неопреде-

ленность системы. Но всякое разрушение неопределенности означает получение информации (см. § 2-9). Следовательно, количество информации, получаемой благодаря внутренним взаимосвязям системы, может быть оценено как разность неопределенностей системы до и после установления связи;

1{х,у) = Н(х) + Н(у)-Н(х,у). (2-32)

Обратим теперь внимание на условные вероятности Р. (Уз) наступления события

у, при условии, что имеет место событие Хг. Условные вероятности могут быть заданы или определены по формуле

Р (Xi. yj) = Р (xt) Рх. (yj) = Р (yj) Ру1 (Xi).

По условным вероятностям могут быть вычислены условные энтропии. Например, неопределенность события у при условии, что событие Хг известно, может быть оценена энтропией:

Hxi (у) = - Е Pxi (уО log Pxi (уО-j

В зависимости от / эта величина меняет свои значения случайным образом. Поэтому для характеристики неопределенности событий у при условии, что X известно, используют среднюю величину Нх(у), являющуюся математическим ожиданием случайной величины Нх.(У)

Hx(y)ZP(xi)Hx (у) =

= - Е Р (Xl) Е Pxi (У!) log Pxi (yj).

Подставляя сюда

p ..... PJiyjl

получим;

Нх{у) = -ЕЪР (Xi У;) log P (Xi yj) -f

+ I.P(Xi,yj)lOgP(Xi) =

= - E E P (X,- yj) log P (Xl yy)-j-i i

+ lP(Xi)l0gP(Xi).

Таким образом,

Нх(у) = Н(х,у)-Н(х). Аналогичным образом можно получить

Ну(х) = Н(х,у)-Н(у). Представив эти выражения в виде

Н(х,у) = Н(х) + Нх(у), (2-33)

Н(х,у) = Н(у) + Ну(х). (2-34)

можно следующим образом сформулировать полученный вывод: совместная неон-

ределенность системы двух групп событий равна сумме неопределенности события одной группы и условной неопределенности другой группы при условии, что событие первой группы известно.

Если события X представляют собой состояния передатчика, а события у - состояния приемника, то условная энтропия Яа:(г/) может быть названа неоднозначностью приемника, так как она характеризует неопределенность состояния приемника при условии, что сигнал, посланный передатчиком, известен. Причиной этой неопределенности являются помехи и искажения, существующие в системе связи. В этих терминах полученные выражения означают, что совместная неопределенность состояния системы связи складывается из неопределенности состояния передатчика и неоднозначности приемника (или наоборот: из неопределенности состояния приемника и неоднозначности передатчика). Лишь в частном случае отсутствия помех и искажений, когда Нх(у) = =Ну(х)=0, неопределенность состояния системы связи равна неопределенности состояния передатчика или (что для этого частного случая то же) неопределенности состояния приемника.

В технических системах связи получатель судит о сигнале на передающей стороне по сигналу, принятому приемником. Поэтому представляет интерес выяснить, насколько уменьшается неопределенность событий х, если событие у известно. Для ответа на этот вопрос необходимо найти разность энтропии Н(х) и Ну{х):

Н {X) - Ну (X) = Н{х) + Н(у)-Н (х,у).

Аналогично этому можно определить уменьшение неопределенности события у, если событие х известно:

Н(у)-НАу) = Н{у) + Н{х)~Н{х,у).

Правые части обоих этих выражений равны количеству информации 1(х, у), получаемой благодаря внутренним связям, присущим системе

1(х,у)=Н(х)~Ну(х); (2-35)

1{х.у) = Н(у)~НАу), (2-36)

т. е.) количество информации, передаваемой системой, определяется выигрышем в уверенности относительно одной группы событий, который может быть получен путем наблюдения за другой группой событий, или в терминах техники связи: передаваемое системой количество информации может быть вычислено как разрушение неопределенности состояний передатчика, вызванное наблюдением за состояниями приемника (или наоборот).

Полученные выражения полностью характеризуют неопределенность системы из двух групп случайных событий и ее частей, а также позволяют вычислить количество информации, передаваемой из одной .части системы в другую.

При отсутствии в системе искажений и помех, т. е. при Нх(у)=Ну(х)=0, количество передаваемой информации становится равным неопределенности передатчика (или приемника, или всей системы):

/ {х,у) = Н{х) = Н(у) = Н {х,у). (2-37)

Во всех формулах настоящего параграфа количество информации отнесено к одному событию.

Пример 1. Имеются два канала, предназначенных для передачи информации в двоичном коде. В канал I в 80% случаев поступают посылки (1) н в 20% случаев - паузы (0); вероятность ошибочного приема составляет 0,02. В канал П посылки поступают с такой же вероятностью, как и паузы; вероятность ошибочного приема составляет 0,03. Требуется сравнить оба канала по количеству информации, приходящейся на один символ.

Решение. Запишем совместные вероятности для канала I:

Р (1,1) = 0,8-0,98 = 0,784;

Р (1,0) = 0,8-0,02 = 0,016;

Р (0,1) = 0,2-0,02 = 0,004;

Р(0,0) = 0,2-0,98 = 0,196.

Вероятности появления посылок и пауз на выходе приемника канала I:

Р(1) = Р (1,1) + Р (О, 0 = 0,784+

-f 0,004 = 0,788;

Р(0) = Р(1,0)-}-Р(0,0) =

= 0,016 + 0,196 = 0,212.

Неопределенность состояния передатчика канала I:

Н(х) = ~ (0,8 log2 0,8 + 0,2 logg 0,2) =

= 0,722 дв. ед.

Неопределенность состояния приемника канала I:

Н(у) = ~(0,788 log20,788 +

+ 0,212 log20,212) = 0,743 дв. ед.

Совместная неопределенность канала 1:

Я (х,у) = - (0,784 log20,784 +

+ 0,016 log2 0,016 -f 0,004 log2 0,004 -f

+ 0,1961og20,196) = 0,863flB. ед.

Количество информации на один символ сообщения, передаваемого по каналу 1:

/ (х,у) = Н{х) + Н(у)~Н (х,у) =

= 0,722 + 0,743 -0,868 = 0,6 дв. ед.

Совместные вероятности для канчала П: Р(1, 1) = 0,5-0,97 = 0,485; Р(1,0) = 0,5-0,03 = 0,015; Р(0, 1) = 0,5-0,03 = 0,015; Р(0,0) = 0,5-0,97 = 0,485.