<<
>>

КОЛИЧЕСТВО ИНФОРМАЦИИ

Количеством информации называют ее числовую характеристику, отражающую ту степень неопределенности, которая исчезает после получения информации. Для оценки и измерения количества информации в сообщении применяются различные подходы, среди которых следует выделить статистический и алфавитный.

Статистический подход. Для количественной оценки неопределенности или энтропии Н американский инженер Р. Хартли предложил формулу, содержащую логарифм от числа равновероятных возможностей АГ:

(1.1.1)

которую можно записать в следующем виде:

(1.1.2)

где Н — количество информации.

Минимальной единицей количества информации, именуемой битом, будет выбор из двух возможностей.

При не равновероятной возможности выбора количество информации }гзависящей от индивидуальной вероятности Р, /-го выбора, вычисляется по формуле К.

Шеннона

(1.1.4)

Удобнее в качестве меры количества информации пользоваться не значением /г*, а средним значением количества информации

(1.1.5)

Алфавитный подход позволяет определить количество текстовой информации. Количество информации, которое несет каждый символ, вычисляется по формуле

(1.1.6)

где N — мощность алфавита, равная количеству символов в нем.

Текст, содержащий К символов, имеет объем информации, равный

(1.1.7)

Максимальное количество слов Ь из т букв, которое можно составить с помощью алфавита мощностью А7, определяется как

(1.1.8)

П1.1.1. Пусть имеется колода карт, содержащая 32 различные карты. При выборе одной карты имеются 32 возможности. Сколько информации несет сообщение о том, что из колоды карт вытащили бубнового короля?

Решение. Число возможностей N = 22 при подстановке в формулу (1.1.1) дает количество информации Н = 5 (2я = 2Э).

П1.1.2. При бросании монеты выбор одного результата (например, выпадения орла) несет один бит информации, поскольку количество возможных равновероятных результатов N = 2 (орел или решка). Определить количество информации в сообщении о том, что выпала решка.

Решение. Подставляя N = 2 в формулу (1.1.1), получим Н = 1 бит.

П1.1.3. Какой объем информации содержит сообщение, уменьшающее неопределенность в 4 раза?

Решение. Неопределенность знаний уменьшается в 4 раза, следовательно, она была равна 4, т. е. существовало 4 равновероятных события. Сообщение о том, что произошло одно из них, несет 2 бита информации (4 = 22).

П1.1.4. В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение о том, что из коробки достали красный кубик?

Решение. Из 16 равновероятных событий нужно выбрать одно. Поэтому N = 16, следовательно, Н = 4 (16 = 24).

П1.1.5. Сообщение о том, что ваш друг живет на 10-м этаже, несет 4 бита информации. Сколько этажей в доме?

Решение. N = 24 = 16 этажей.

<< | >>
Источник: Ю. И. КУДИНОВ, Ф.Ф. ПАЩЕНКО, А. Ю. КЕЛИНА. ПРАКТИКУМ ПО ОСНОВАМ СОВРЕМЕННОЙ ИНФОРМАТИКИ. 2011

Еще по теме КОЛИЧЕСТВО ИНФОРМАЦИИ:

  1. 2. ИСТОЧНИКИ ИНФОРМАЦИИ. СПЕЦИФИКА И АЛГОРИТМЫ РАБОТЫ С ИСТОЧНИКАМИ ИНФОРМАЦИИ. ДОСТУП К ИСТОЧНИКАМ ИНФОРМАЦИИ. ПРАВОВЫЕ И ЭТИЧЕСКИЕ НОРМЫ РАБОТЫ С ИСТОЧНИКАМИ ИНФОРМАЦИИ.
  2. Количество и качество
  3. 3. Количество товаров
  4. Журналистика как массово-информационная деятельность. Понятия «информация» и «массовая информация». Массовая информация как продукт массово-информационной деятельности. Массовая информация и социальная информация.
  5. Статья 669. Количество товара
  6. Ограниченное количество
  7. 4. Условие о количестве и качестве.
  8. Количество
  9. Количество и качество человеческой жизни
  10. Количество и качество человеческой жизни
  11. Количество и тип требуемых данных
  12. Существует неограниченное количество миров.
  13. 10.2. Правовая защита интересов личности, общества, государства от угроз воздействия недоброкачественной информации, от нарушения порядка распространения информации
  14. § 2 Имущество как масса и количество. – Обладание правами и требованиями
  15. Статья 670. Правовые последствия нарушения условия договора относительно количества товара
  16. Статья 362. Несанкционированные действия с информацией, обрабатывается в электронно-вычислительных машинах (компьютерах), автоматизированных системах, компьютерных сетях или сохраняется на носителях такой информации, совершенные лицом, имеет право доступа к ней
  17. Статья 361-2. Несанкционированные сбыт или распространение информации с ограниченным доступом, которая сохраняется в электронно-вычислительных машинах (компьютерах), автоматизированных системах, компьютерных сетях или на носителях такой информации
  18. Глава 9. Договоры, направленные на предоставление отсрочки возврата такого же количества имущества того же рода и качества или на отсрочку оплаты
  19. § 6. Направленность на предоставление отсрочки возврата такого же количества имущества того же рода и качества или на отсрочку оплаты