Среднее число разрядов на пару событий

ЕР(/)аг = 0,64.1-}-0,16-2 +

-f 0,16-3-f 0,04-3= 1,56,

Следовательно, на одно событие приходится 0,78 разряда, что всего лишь на 7,7% отличается от значения 0,722.

Объединяя передаваемые события в блоки по три, четыре и более события, можно добиться еще более эффективного кодирования и еще большего приближения к пределу, равному 0,722.

Таким образом, если данная ситуащ!Я делится на т событий с вероятностями наступления Р (г), то каждое событие может быть закодировано при помощи некоторого числа двоичных символов, в среднем не превышающего т

ni==~LP{i) log2P(/).

в итоге можно сформулировать следующую основную теорему кодирования: при кодировании сообщения, разбитого на блоки по N событий в каждом, можно, выбрав N достаточно большим, добиться того, чтобы среднее число двоичных элементарных сигналов на одно событие исходного сообщения было сколь угодно близким к т

И1 = - SP(/)log2P(i)- (2-22)

Основным в этом утверждении является разбиение сообщения на длинные блоки. Что касается способов оптимального кодирования, то они могут быть различными. При отсутствии помех можно воспользоваться кодом Фэно. При наличии помех кодирование длинных блоков также позволяет сжать сигнал, но методы кодирования при этом существенно изменяются.

2-8. СИГНАЛ КАК СЛУЧАЙНЫЙ ПРОЦЕСС

Представление сигнала некоторой функ-цргей времени f(f) не отражает существа процесса передачи информации. Если на приемной стороне сигнал может быть заранее представлен некоторой функцией времени, то /не имеет смысла передавать такой сигнал по каналу связи, так как заранее известны все будущие значения сигнала.

В действительности о сигнале на приемной стороне могут быть известны лишь совокупность его возможных значений, вероятности их появления, а также некоторые основные (или средние) характеристики сигнала. Появление того или иного сигнала на приемной стороне является случайным событием, я*

Возможные значения такого случайного сигнала называют выборочными значениями, а все множество возможных значений - выборочным пространством. Например, в случае двоичного кодирования выборочное пространство состоит из двух элементов (посылка и пауза). Напряжение теплового шума в цепях аппаратуры связи может принимать любое значение, и, следовательно, выборочным пространством в этом случае является вся действительная прямая (-оод;+

В процессе связи одни значения сигнала сменяются другими, образуя выборочные функции или реализации случайного сигнала. Форма реализации случайного сигнала зависит от передаваемого сообщения и, следовательно, меняется от опыта к опыту. Таким образом, случайный сигнал может быть представлен функцией времени лишь в рамках данной его реализации. Если же зафиксировать внимание на данном моменте времени, но иметь в виду все возможные реализации случайного сигнала, то случайный сигнал превращается в случайную величину.

Объединяя в себе свойства функции времени и случайной величины, сигнал связи должен рассматриваться как случайный процесс (см. § 1-18).

В соответствии с отмеченной двойственностью случайного сигнала он может быть задан двояким образом. По одному из этих способов случайный сигнал считается заданным, если известны все его реализации и их вероятности. Другой способ задания случайного сигнала заключается в указании закона распределения для случайных величин, представляющих сигнал в различные моменты времени.

Удобным, хотя и менее подробным способом описания случайного сигнала является указание его средних характеристик:

математического ожидания, совпадающего с постоянной составляющей всех типичных и достаточно длинных реализаций сигнала;

дисперсии, которая равна мощности переменных составляющих сигнала, выделяемой на единичном сопротивлении;

спектра мощности, характеризующего распределение энергии сигнала по частоте, и

функции корреляции, определяющей степень взаимной зависимости значений сигнала в различные моменты времени.

Определения указанных средних характеристик приведены в § 1-18. Несмотря на их широкое применение, ни одна из них не характеризует сигнал с точки зрения содержащейся в нем информации.

Между тем, сигнал связи ценен лишь тем, что содержит в себе информацию. До приема сигнала ситуация для получателя является неопределенной, а получение сигнала и извлечение из него информации разрушает или, по крайней мере, уменьшает

эту неопределенность. При этом чем более неопределенной была ситуация до приема сообщения и чем менее неопределенной она стала после этого приема, т. е. чем больше неопределенности снято при приеме сообщения, тем большая информация получена на приемной стороне.

Таким образом, для оценки количества информации, заключенной в сигнале (сообщении), необходимо оценивать сигнал с точки зрения неопределенности, обуслов- ленной его законом распределения. Количественную меру неопределенности очередного значения сигнала называют энтропией.

В случае дискретного сигнала X, который может принимать m различных значений с вероятностями Pi Р2, .., Рн, -, Рт, энтропия определяется величиной

Я(Х) = - SPfelogPfe. (2-23)

Логарифмы в этом выражении могут быть взяты при любом основании, но чаще всего выбирается основание 2. Тогда при т=2 и Pi=P2=0,5 энтропия Н (х) = 1. Это значение энтропии называют двоичной единицей (1 дв. ед. или 1 бит). Одна двоичная единица энтропии связана с неопределенностью выбора одного из двух равновероятных значений сигнала. Например, если ответом на заданный вопрос могут быть с одинаковой априорной вероятностью утверждение да или отрицание нет , то неопределенность ответа равна 1 дв. ед., т. е. 1 биту.

Из определения энтропии вытекают следующие ее свойства:

1. Энтропия сигнала равна нулю лишь в том случае, если вероятность наступления одного из его значений равна единице (вероятности остальных значений при этом равны нулю). Такой сигнал не обладает неопределенностью, так как достоверно известно одно единственно возможное его значение. Во всех других случаях, когда имеет место та или иная неопределенность значения сигнала, энтропия является положительной величиной.

2. Наибольшей энтропией обладает сигнал с равномерным законом распределения вероятностей, т. е. сигнал, обладающий наибольшей неопределенностью исхода. При равновероятности любого из m символов Ph = l/m и

ймакс(Л:) = 1оет.

(2-24)

3. При объединении независимых ансамблей случайных событий их энтропии складываются.

Пусть ансамбль X т т случайных элементов Xi(i=l, 2, m) и ансамбль Y из п случайных элементов ,(/=1, 2, п) независимы и имеют энтропии:

- Н(Х) = - SP(xi)logP(x;);

H(Y) = - llP(yj)logP(yj).

Тогда случайный объект XY, состояния которого образуются совместной реализацией состояний X и У, имеет тп состояний с вероятностями

P(Xiyj) = P(Xi)P{yi).

Энтропия такого объекта т п

Н {XY) = - Е S Р (хг yi) log Р (Xi yi)= 1=1 j=i

m n

= - E ЪР(Х1)Р{У1) [log Pxi+\ogP{yj)] =

i=lt=l

= - P(xt)\ogP(Xi) L P ((/;)-i=l 7=1

- Ъ P (yj) log P{yi) SP(X;), /=1 t=l

T. e.

H(XY) = H{X) + H(Y). (2-25)

Эти свойства подтверждают, что энтропия может служить мерой неопределенности состояния различных случайных объектов и, в частности, таких объектов, как сигналы связи и их источники.

Однако основное определение энтропии учитывает лишь неравновероятность появления различных значений сигнала и не учитывает вероятностные взаимосвязи между этими значениями. Между тем, интуитивно чувствуется, что вероят остные взаимозависимости между элементами сигнала уменьшают его неопределенность. Если после данного элемента сигнала Хг возможно появление не любого, а лишь некоторых из т возможных элементов сигнала или если появление элемента xi влияет на вероятности появления последующих элементов, делая одни из них более вероятными, а другие - менее вероятными, то это значит, что элемент х, вносит некоторую ясность в вопрос о последующих значениях сигнала еще до их появления, т. е. уменьшает общую неопределенность ситуации. Если взаимозависимость между элементами сигнала делать все более жесткой, то в пределе после данного значения сигнала с вероятностью единица станет возможным появление лишь одного определенного значения сигнала. В этом предельном случае вероятностный процесс превращается в функциональную зависимость значения сигнала от времени, неопределенность ситуации полностью исчезает и энтропия должна стать равной нулю.

Пусть, например, передается сигнал, в котором вероятностные взаимозависимости наблюдаются лишь между соседними элементами (цепь Маркова). Зафиксируем внимание только на тех элементах х,-, ко-

торые появляются сразу после элементов Xi. Если в достаточно длинной реализации, состоящей из п элементов, число таких элементов Xj равно Пц, то условная вероятность появления элемента Xj после элемента Хх равна:

Чтобы оценить неопределенность появления того или иного элемента сигнала после того, как был принят элемент Xi, необходимо воспользоваться определением энтропии (2-23), но для условных вероятностей:

Hi (X) = ~ Е (Pxi) log Xi(x{). /==1

Для различных элементов сигнала /= = 1, 2, m величина этой неопределенности различна, а так как эти элементы появляются случайно, то Нг(Х) является случайной величиной. Энтропией сигнала в целом целесообразно считать математическое ожидание этой случайной величины: т

Н(Х)= iP(xi)HiiX),

Таким образом, энтропия сигнала при наличии вероятностной взаимозависимости между двумя соседними элементами сигнала определяется выражением т т

Н(Х) = - P{Xi) ЕР;,ДХ,)Х

г=1 /=1

X lOgPiiX;).

(2-26)

При распространении вероятностных взаимозависимостей на несколько последующих значений сигнала выражения для определения энтропии усложняются, но методика вычислений остается прежней.

Полученные выражения позволяют вычислить среднее значение энтропии, приходящееся на один элемент сигнала. Энтропия сигнала длительностью в п элементов может быть определена как средняя энтропия одного элемента, увеличенная в п раз.

Приведенные определения энтропии, справедливые для дискретных сигналов, не могут быть непосредственно использованы для оценки неопределенности непрерывного сигнала (или непрерывного источника). Поскольку непрерывный сигнал имеет бесконечно большое число возможных значений, неопределенность исхода одного из них может быть как угодно велика. Действительно, обращаясь к дифференциальному закону распределения вероятностей и обозначая через р(х) плотность вероятности (§ 1-17), мы можем считать, что при достаточно малом Ах вероятность попадания сигнала в интервал (Хи, х+Ах) рав-иа:

Pk=P(Xk)Ax.

Следовательно, Н(х) = - lim Е р (Xf.) Ах log [р (Xft) Ax]=

= - lim E p {x/,) log p {Xk) Ax -

Ax-*0[k -

- lim E p (Xft) Ax log Ax.

При предельном переходе обе суммы превращаются в интегралы и

H(x) = -]p(x)logp(x)dx- - lim log Ах.

Полученное выражение подтверждает высказанное предположение о бесконечно больших значениях энтропии непрерывного сигнала.

Однако из этого не следует вывод о непригодности понятия энтропии для непрерывных сигналов. Во-первых, ниже будет показано, что количество полученной информации всегда выступает как разноль двух значений энтропии (до приема и после приема сигнала)-, что и приводит к уничтожению второго члена в предыдущем выражении. Во-вторых, имеется возможность оценивать неопределенность непрерывного сигнала не абсолютным, а относительным значением энтропии путемсрав-нения ее с энтропией Нв{х) равномерного распределения в интервале Хг-Xi = 6. Относительная энтропия носит название д-и ф-ференциальной энтропии:

Н,(х) = Н(х)-Н(х). (2-27)

Поскольку при равномерном, распреде-лении, выбранном за стандартный образец для сравнения, p(x) = i/6, то .

Но(х) = - j р (х) log р [х) dx -

-lim log Ах = log б - limlog Ах. Поэтому.

g (х) = - J р (х) log р (X) dx-log б=

, =- jp{x)loglbp{x)]dx. (2-28)

Поскольку образец для сравнения можно выбирать произвольно, положим 6 = 1, и тогда энтропия непрерывного сигнала

Щ () = - f Р () log Р М dx. (2-2b)

Свойства энтропии непрерывного сигнала аналогичны свойствам энтропии дискретного сигнала;Однако при этом не следует забывать относительности дифференциаль- ной энтропии. . ;