Статистическое кодирование

Строгие методы количественного определения информации были предложены К. Шенноном в 1948 г. и привели к построению теории информации, являющейся основой теории связи, кибернетики и ряда смежных наук.

Пусть некоторый источник дискретных сообщений посылает одно конкретное сообщение из некоторого множества А. Для определения количества информации в сообщении необходимо основываться только на таком параметре, который характеризует в общем виде сообщение . Таким параметром является - вероятность того, что источник посылает данное сообщение. Количество информации определяется по следующей формуле:

(6.1)

Основание логарифма обычно выбирают равным двум. Полученная при этом единица информации носит название бит. Она равна количеству информации в сообщении о событии, происходящем с вероятностью 0,5, т.е. таком, которое может с равной вероятностью произойти или не произойти. Такая единица на практике наиболее удобна вследствие широкого использования двоичных кодов в вычислительной технике и связи. Количество информации в сообщении тем больше, чем оно менее вероятно или, другими словами, чем оно более неожиданно. Количество информации является случайной величиной, так как сами сообщения случайные.

Для характеристики всего множества (или источника) сообщения используют математическое ожидание количества информации, называемое энтропией. Чем больше энтропия источника, тем больше степень неожиданности передаваемых им сообщений в среднем, т.е. тем более неопределённым является ожидаемое сообщение. Поэтому энтропию часто называют мерой неопределённости сообщений:

(6.2)

Некоторые источники передают сообщения с фиксированной скоростью, затрачивая в среднем время Т на каждое сообщение. Производительностью (в битах на секунду) такого источника называют суммарную энтропию сообщений, переданных за единицу времени:

(6.3)

При передаче знаки сообщений источника преобразуются в последовательность двоичных сигналов. Учитывая статистические источника сообщений, можно минимизировать среднее число символов, требующихся для выражения одного знака сообщения, что при отсутствии шума позволяет уменьшить время передачи или объём запоминающего устройства. Одной из характеристик сообщений является избыточность. Коэффициент избыточности определяется как:

(6.4)

где - максимальная энтропия: (6.5)

Уменьшение энтропии источника с увеличением статистической взаимосвязи можно рассматривать как движение информационной емкости сообщений. Одно и то же сообщение при наличии взаимосвязи содержит в среднем меньше информации, чем при ее отсутствии. Иначе говоря, если источник создает последовательность сообщений, обладающих статистической связью, и характер этой связи известен, то часть сообщений, выдаваемая источником, является избыточной, так как она может быть восстановлена по известным статистическим связям. Появляется возможность передавать сообщения в сокращенном виде без потери информации, содержащейся в них. Например, при передаче телеграммы мы исключаем из текста союзы, предлоги, знаки препинания, так как они легко восстанавливаются при чтении телеграммы на основании известных правил построения фраз и слов. Для передачи одного и того же количества информации источник с избыточностью должен использовать большее количество сообщений. Источник, обладающий избыточностью, передает излишнее количество сообщений. Это увеличивает продолжительность передачи и снижает эффективность использования канала связи. Сжатие сообщений можно осуществить посредством соответствующего кодирования. Информацию необходимо передавать такими сообщениями, информационная емкость которых используется наиболее полно. Этому условию удовлетворяют равновероятные и независимые сообщения.

Другие стьтьи в тему

Разработка управляемого контролера на базе микропроцессорного комплекта серии КР580
Если всего лишь несколько десятков лет назад свойствами программируемости характеризовались только крупные блоки и узлы управляющих систем, то в настоящее время этими свойствами характеризуется интегральная база (микропроцессор, однокристальная микро-ЭВМ), что и обеспечивает ее широки ...

Регулятор мощности
На современном этапе научно-технического прогресса огромную роль играет развитие электроники. Электронная промышленность определяет научно-технический и экономический потенциал Республики Беларусь. В данную отрасль промышленности входит множество объединений, заводов, конструкторских ...