Главная страница Телеобработка данных [0] [1] [2] [3] [4] [5] [6] [7] [8] [9] [ 10 ] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71] [72] [73] [74] [75] [76] [77] [78] [79] [80] [81] [82] [83] [84] [85] [86] витом. Каждому символу Xi из некоторого алфавита можно приписать определенную вероятность р {xi) его появления. Появление определенного символа xi можно рассматривать как событие Xi. Множества Х= {xi, х,..., Хп} из >N возможных взаимоисключающих друг друга событий и соответствующих им вероятностей рх={р(х{), p{x2),...-,p(xn)} образуют поле событий {X, Рх), причем справедливы следующие соотношения: Р()>0; (2-3) Если каждому событию Xi приведено в соответствие определенное (конечное) числовое значение tf{xi), то f{X) называется случайной величиной с математическим ожиданием E{f{X)]=p{x,)f{x{). (2.4) Каждому событию Xi можно привести в соответствие числовое значение I{Xi), с помощью которого может быть измерена информация, заключающаяся в появлении события Xi. С этой точки зрения получение информации связано с устранением ранее существующей неопределенности. Связанная с событием л:,- информация! или мера устраняемой им неопределенности тем больше, чем более неожиданным было событие Xi, т. е. чем меньше вероятность р(Хг). Следовательно, I{Xi) =f [р(д;,-)] является такой функцией F вероятности р{Хг), значения которой тем больше, чем меньше p(Xi). Совместное появление двух взаимно независимых событий, Xi и Xk, из X с вероятностями p(xi) и р{х), например, как пары в последовательности событий, но правилам теории вероятностей имеет вероятность p{Xi, Xk) - р {Xi) р (Хк) Тогда информация, заключающаяся в паре событий, К (xt, x„) = F Ip (Xi, %) = F Ip (xt) p (%)], И так как xi и х взаимно независимы, то разумно потребовать, чтобы количество информации, связанной с парой событий, Xi, Xk, было равно сумме количеств информации, содержащихся в отдельных событиях: /{Xt, x„) = l{xt)-hlix,,), т. е. Р [Р iXi) р (%)] = /= [р (Xi)] + FIP (%)]. Последнее выражение представляет собой функциональное уравнение логарифмической функции. Отсюда при использовании логарифма по основанию 2 с некоторым свободным параметром К получается fixiJ = Khg,p{xt). (2.5) 2* . • 35 . Параметр К определяется исходя из того, что решение об одном из двух независимых равновероятных событий содержит информацию в 1 бит. Поскольку каждое из двух таких событий имеет вероятность р=0,5, то согласно (2.5) получается l=/<log20,5 или ./С=-1. Отсюда /ix,)=-logp{xi) = \og-j-. (2.6) Выражение (2.6) можно рассматривать как определение поня-•тия информации [2.П]. Информация, согласно (2.6), тем больше, чем менее вероятно появление соответствующего события. Наоборот, событие, которое можно предсказать с достоверностью (р=1), -не несет информации. • Информация I{Xi) есть случайная величина. Поэтому можно в соответствии с? (2.4) определить математическое ожидание инфор-.мации в поле событий: .Я-£[/(Х)] = р(х,)= p(x,)log,-1-. (2.7) Это математическое ожидание, или средняя информация, называется энтропией множества событий Х=.{х{}. При этом для р(Хг)=0 Если все N событий имеют одинаковую вероятность, то p(Xi)=p=\IN и из (2.7) Я = = Я„ = log, = log, Л. (2.8) В этом случае энтропия максимальна и в общем справедливо Я(X)<logгiV = Яo(X). (2.9) Отклонение энтропии Н(Х) от ее максимального значения Но(Х) называют избыточностью: R(X)H{X)-H{X). (2.10) «Относительная» избыточность г(Х)=1-Я.(Х)/Яо(Х). (2.11) Для передачи данных особенно важен двоичный источник, ал-фавит которого состоит только из символов О и 1: X-{G\ 1}. Если символам приписаны вероятности р{0)=р и р(1) = 1-р, то согласно i(2.7) Я(Х) = S(p) = plog, у-f(l-p)log2-j-. (2.12) i36 . . По предложению Э. Бергера [2.12] функцию S{p) назЫйают также функцией Шеннона. Ее вид показан на рис. 2.5. Функция S(p) обращается в единицу для р=0,5 и в нуль для р==0, р=1. В общем случае, если в выражении (2.7) не ограничиваться двоичным алфавитом, события со «средней» -вероятностью дают относительно большой вклад в энтропию Н{Х), в то время как частые события из-за их малой информативности и редкие события из-за их ма-ловероятности вносят в энтропию лишь малую долю. Название «энтропия» для математического ожидания информации в поле событий -первоначально было введено К. Э. Шенноном [2.4, 2.5] только на основе формальной аналогии с результатами Л. Больцмана, каса- 0 0,1 0,2 0,3 0,4 0,В 0,6 0,7 0,8 0,9 1 Рис. 2.5. Функция Шеннона S(p) ющимися термодинамической энтропии. Однако, кроме этого, существует и физическая связь между обоими понятиями энтропии 12.11, 2.14-2.17]. 2.3.2. ПЕРЕДАННАЯ ИНФОРМАЦИЯ. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА СВЯЗИ В разд. 2.3.1 было рассмотрено единственное поле событий Рх), а именно алфавит источника, из которого путем операции выбора формируется последовательность символов, несущая ин-•формацию. Эта информация должна быть передана по каналу к получателю (см. рис. 2.1). При этом предполагается, что получателю известен алфавит источника. Поступающая к получателю информация также образует некоторое поле событий {Y. ру), которое по объему может отличаться от поля источника. Пусть некоторый символ Xi с вероятностью р{Хг), посланный источником, после передачи по каналу связи появляется у получателя как символ г/ь с условной вероятностью р(уп1Хг). Эта вероятность называется условной, потому что она характеризует появление yf при условии, ЧТО быЛ ПОСЛЗН символ Хг. [0] [1] [2] [3] [4] [5] [6] [7] [8] [9] [ 10 ] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51] [52] [53] [54] [55] [56] [57] [58] [59] [60] [61] [62] [63] [64] [65] [66] [67] [68] [69] [70] [71] [72] [73] [74] [75] [76] [77] [78] [79] [80] [81] [82] [83] [84] [85] [86] 0.0148 |