Вероятностный подход к определению количества информации - davaiknam.ru o_O
Главная
Поиск по ключевым словам:
страница 1
Похожие работы
Название работы Кол-во страниц Размер
Теория информации Шеннона. Вероятностный подход к определению количества... 1 52.44kb.
Измерение количества информации 1 138.13kb.
2. Единицы измерения информации. Содержательный подход к измерению... 1 53.4kb.
1. Политика как объект и предмет политической науки. В настоящее... 3 375.94kb.
Алфавитный подход к измерению информации 1 57.64kb.
Подход к определению базовых нормативов платы за радиоактивные выбросы... 1 84.09kb.
Подход к определению базовых нормативов платы за радиоактивные выбросы... 1 84.1kb.
3 Обеспечение целостности информации 1 285.05kb.
Количество информации как мера уменьшения неопределенности знаний... 1 112.03kb.
Новый подход к определению финансовых результатов деятельности организации 1 84.23kb.
Вопрос Технологический подход в образовании. Существующие подходы... 1 103.32kb.
Лекция 3 История развития ЭВМ 1 276.29kb.
Направления изучения представлений о справедливости 1 202.17kb.

Вероятностный подход к определению количества информации - страница №1/1

Вероятностный подход к определению количества информации.
Цель урока:

  1. Введение понятия вероятностного подхода в измерении инфор­мации

  2. Ввести понятие вероятности; равновероятных и не равновероятных событий;

  3. Показать зависимость количества информации при совершении не равновероятных событий;

  4. Ввести формулу Хартли для не равновероятных событий.


Ход урока:
В основе нашего мира лежат три состав­ляющие — вещество, энергия и информация. А как много в мире вещества, энергии и информации.

Можно ли измерить количество вещества и как именно? (Вещество можно взвесить (в килограммах, гаммах и т.д.) на весах, определить его длину (в сантиметрах, в метрах и т.д.) с помощью линейки; найти его объем, применив соответствующие измерения и т.д.)

Можно ли определить количество энергии? (Можно, например, найти количество тепловой энергии в Дж, электроэнергии в кВт/ч, и т.д.)

- Можно ли измерить количество информации и как это сделать?

Оказывается, информацию также можно измерять и находить ее коли­чество.

Существуют два подхода к измерению информации.

Один из них называется содержательный или вероятностный. Из назва­ния подхода можно сделать вывод, что количество информации зависит от ее содержания.

Упражнение 1 (устно): Определите количество информации в следующих сообщениях с позиции «много» или «мало».


  1. Столица России — Москва.

  2. Сумма квадратов катетов равна квадрату гипотенузы.

  3. Дифракцией света называется совокупность явлений, которые обусловлены волновой природой света и наблюдаются при его распространении в среде с резко выраженной оптической неоднородностью.

  4. Эйфелева башня имеет высоту 300 метров и вес 9000 тонн.

Пояснение: содержит ли сообщение новые и понятные сведения.

Сообщение несет больше информации, если в нем содержатся новые и понятные сведения. Такое сообщение называется информативным. Необходимо различать понятия информация и информативность.

- Содержит ли информацию учебник физики за 10 класс? (Да)

-Для кого он будет информативным - для ученика 10 класса или 1 класса? (Для ученика 10 класса он будет информативным, так как в нем содержится новая и понятная ему информация, а для ученика 1 класса она информативной не будет, так как информация для него непонятна.)



Вывод: количество информации зависит от информативности.

Количество информации в некотором сообщении равно нулю, если оно с точки зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля. ,

Но информативность сообщения сама по себе не дает точного определе­ния количества информации. По информативности можно судить только о том, много информации или мало.

Рассмотрим понятие информативности с другой стороны. Если некото­рое сообщение является информативным, следовательно, оно пополняет нас знаниями или уменьшает неопределенность наших знаний. Другими словами сообщение содержит информацию, если оно приводит к уменьше­нию неопределенности наших знаний.



Рассмотрим пример: мы бросаем монету и пытаемся угадать, какой стороной она упадет на поверхность. Возможен один результат из двух: монета окажется в положении «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т.е. ни одно из них не имеет преимущества перед другим.

Перед броском монеты мы точно не знает, как она упадет. Это событие предсказать невозможно, т.е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т.к. мы получаем зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределен­ность нашего знания в два раза, т.к. из двух равновероятных событий произошло одно.

Если мы кидаем шестигранный кубик, то мы также не знаем перед брос­ком, какой стороной он упадет на поверхность. В этом случае, возможно, получить один результат из шести равновероятных. Неопределенность знаний равна шести, т.к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз.

Упражнение 2 (устно)

1. Еще один пример. На экзамен приготовлено 30 билетов.

- Чему равно количество событий, которые могут произойти при вытягивании билета? (30)

- Равновероятны эти события или нет? (Равновероятны.)



  • Чему равна неопределенность знаний ученика перед тем как он вытянет билет? (30)

  • Во сколько раз уменьшится неопределенность знания после того как ученик билет вытянул? (В 30раз.)

- Зависит ли этот показатель от номера вытянутого билета? (Нет, т.к.события равновероятны.)

Из всех рассмотренных примеров можно сделать следующий вывод:

Чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.

А каким может быть самое маленькое количество информации? Вернем­ся к примеру с монетой. Предположим, что у монеты обе стороны «орел».



  • Существует ли неопределенность знаний пред броском в этом случае? Почему? (Нет, так как мы заранее знаем, что выпадет в любом случае «орел».)

  • Получите вы новую информацию после броска? (Нет, так как ответ мы уже знали заранее.)

Будет ли информативным сообщение о результате броска? (Нет, так оно не принесло новых и полезных знаний.)

- Чему равно количество информации в этом случае? (Нулю, т.к. оно неинформативно.)

Вывод: мы не получаем информации в ситуации, когда происходит одно событие из одного возможного. Количество информации в этом случае равно нулю.
Для того чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, кото­рое находится в сообщении о том, что произошло одно событие из двух равно­вероятных, принято за единицу измерения информации и равно 1 биту.
Игра «Угадай число»: Загадайте число из предло­женного интервала.

Стратегия поиска: необходимо на каждом шаге в два раза уменьшать неопределенность зна­ния, т.е. задавать вопросы, делящие числовой интервал на два. Тогда ответ «Да» или «Нет» будет содержать 1 бит информации. Подсчитав общее ко­личество битов (ответов на вопросы), найдем полное количество информа­ции, необходимое для отгадывания числа.

Например, загадано число 5 из интервала от 1 до 16 (неопределенность знаний перед угадыванием равна 16).

Вопрос

Ответ

Неопределенность знаний

Полученное количест­во информации

Число больше 8?

Нет

8

1 бит

Число больше 4?

Да

4

1бит

Число больше 6?

Нет

2

1бит

Число 5?

Да

1

1 бит

Итого:







4 бита

Вывод: количество информации, необходимое для определения одного из 16 чисел, равно 4 бита.
Существует формула, которая связывает между собой количество возможных событий и количество информации.

N = 2i; где N — количество возможных вариантов, i - количество информации.

Пояснение: формулы одинаковые, только применяются с разных точек зрения - кодирования и вероятности.

Если из этой формулы выразить количество информации, то получится i = log 2 N.

Как пользоваться этими формулами для вычислений:

- если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2i достаточно легко. Вернемся к примеру: N = 32; —> i = 5, т.к. 32 = 25;

- если же количество возможных вариантов информации не является целой степенью числа 2, т.е. если количество информации число ве­щественное, то необходимо воспользоваться калькулятором или сле­дующей таблицей.

Количество информации в сообщении об одном из N равновероятных событий: i = log 2 N.

Например: Какое количество информации можно получить при угадыва­нии числа из интервала от 1 до 11? В этом примере N=11. Чтобы найти i (количество информации), необходимо воспользоваться таблицей. По таблице i = 3,45943 бит.



Упражнение 4 (устно)

1. Какое количество информации будет получено при отгадывании числа из интервала: от 1 до 64; от 1 до 61; от 1 до 20.

2. Какое количество информации будет получено после первого хода в игре «крестики-нолики» на поле: 3x3; 4x4.

3. Сколько могло произойти событий, если при реализации одного из них получилось 6 бит информации.


До сих пор речь шла о равновероятных событиях. Но в реальности очень часто это предположение не выполняется. Интуитивно понятно, например, что для ученика – отличника получение пятёрки и получение двойки – события не равновероятные. Для такого ученика получить пятёрку – вполне вероятное событие, а получение двойки – маловероятное. Для двоечника – все наоборот.

Пора разобраться, что же такое вероятность. Для примера возьмем получение оценок. Чтобы определить, какова вероятность получения каждой оценки, нужно подсчитать общее количество разных оценок, полученных учеником за достаточно длительный период времени, и определить, сколько из них двоек, троек, четверок и пятёрок. Если допустить, что такое же распределение сохранится и в будущем, то можно рассчитать вероятности получения каждой оценки. Определив, какую часть от общего числа оценок составляют двойки, найдем вероятность получения двойки. Затем, определив, какую часть от общего количества составляют тройки, найдем вероятность получения тройки. Доля четвёрок среди всех оценок – это вероятность получения четверки, а доля пятёрок - это вероятность получения пятёрки.

Предположим, мы посчитали, что за два года ученик получил 100 оценок. Среди них: 60 пятёрок, 25 четвёрок, 10 троек и 5 двоек. Тогда:


  • вероятность пятерки: 60/100=0,6;

  • вероятность четверки: 25/100=0,25;

  • вероятность тройки: 10/100=0,1;

  • вероятность двойки: 5/100=0,05.

Обратите внимание, что сумма вероятностей возможных событий равна 1.

Значение вероятности будем обозначать буквой Р. Зная вероятности событий, можно определить количество информации в сообщении о каждом из них.

Согласно теории информации, для этого нужно решить показательное уравнение 2i=1/Р, т.е. i=log21/Р.

Подсчитаем по этой формуле количество информации, содержащейся в сообщении о получении нашим учеником каждой из оценок.









Посмотрите внимательно на результаты, и вы увидите, что чем меньше вероятность события, тем больше информации несёт сообщение о нём.

Вывод: количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.

Теперь без труда решим задачу 5 (ответ: 1,17 бит).

На первый взгляд, кажется, что мы имеем две совсем разные формулы Хартли для вычисления количества информации. Первая через количество событий , вторая – через вероятность .

На самом деле это не разные формулы! Первая формула является частным случаем второй, когда вероятность событий одинаковая.

Решим задачу 6. Всех фруктов поровну – по 4. Тогда вероятность выбора каждого вида фрукта равна . Значит, и количество информации будет одинаковым бита. В задаче 3 мы получили такой же ответ.

Решение задач (тексты задач перед учащимися имеются, поэтому существует возможность для самостоятельного решения – 27 мин).


  1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Определите вероятность выпадения, какого цвета шара больше. Во сколько раз?

Решение.

Краткая запись условия

Решение

Коб = 50

Кч = 10

Кб = 40




.

Видно, что вероятность выпадения белого шара выше. Найдем во сколько раз:





Сравнить Рб и Рч

Ответ: Рб > Рч в 4 раза.

  1. В пруду живут 8000 карасей, 2000 щук и 40 000 пескарей.

      1. Определите вероятность улова каждого вида рыб;

      2. Определите количество информации, полученной рыбаком при улове карася;

      3. Определите количество информации, полученной рыбаком при улове щуки;

      4. Определите количество информации, полученной рыбаком при улове пескаря.

Решение. б.

Краткая запись условия

Решение

Кк=8000

Кщ=2000

Кп=40000


Основные формулы:

, Коб= Ккщ п, Р=

Р=, бита.

iк - ?

Ответ: количество информации, полученной рыбаком при улове карася равно 2,64 бита.

  1. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?

Решение. Из условия можно увидеть, что количество черных и белых шаров различное, поэтому воспользуемся формулой Хартли для неравновероятных событий. Обозначим Кч, Кб – количество черных и белых шаров соответственно, К – общее количество шаров, iб – количество информации в сообщении, что из корзины достали белый шар, рб – вероятность выбора белого шара.

Краткая запись условия

Решение

Кч=18 шт

iб=2 бита




Основные формулы:

, К= Кчб

.

С другой стороны по формуле.

Составим и решим уравнение

,

К=6+18=24.


К - ?


Ответ: всего 24 шара.

  1. В ящике лежат 36 красных и несколько зеленых яблок. Сообщение «Из ящика достали зеленое яблоко» несет 2 бита информации. Сколько яблок в ящике?

  2. В концертном зале 270 девушек и несколько юношей. Сообщение «Первым из зала выйдет юноша» содержит 4 бита информации. Сколько юношей в зале.

  3. На остановке останавливаются автобусы с разными номерами. Сообщение о том, что к остановке подошел Автобус с номером N1 несет 4 бита информации. Вероятность появления на остановке автобуса с номером N2 в два раза меньше, чем вероятность появления автобуса с номером N1. Сколько информации несет сообщение о появлении на остановке автобуса с номером N2?

  4. Каждый аспирант кафедры "Информационные системы" изучает только один из трех языков: английский, немецкий или французский. Причем 30 аспирантов не изучают английский язык. Информационный объем сообщения "Аспирант Петров изучает английский язык" равен 1 + log23 бит. Количество информации, содержащееся в сообщении "Аспирант Иванов изучает французский язык", равно двум битам. Иностранный студент, приехавший в университет, знает только немецкий язык. Чему равно количество аспирантов кафедры, с которыми сможет общаться иностранный студент?

Решение. Из условия видно, что количество аспирантов, изучающих английский, немецкий и французский языки различное и вопрос задачи указывает на конкретное изучения языка, поэтому воспользуемся формулой Хартли для неравновероятных событий.

Обозначим Кн, Кф, Ка – количество абитуриентов, изучающих немецкий, французский и английский языки соответственно, iа – количество информации в сообщении "Аспирант Петров изучает английский язык", iф – количество информации в сообщении "Аспирант Иванов изучает французский язык".



Краткая запись условия

Решение

Кн+Кф=30

iа =1+log23 бита

iф=2 бита


Основные формулы:

.

По формуле (4)




.

С другой стороны по формуле (7).

Составим и решим уравнение

.

Аналогично и Кф=9,

Кн=30-Кф=21


Кн - ?

Ответ: иностранный студент сможет общаться с 21 аспирантом кафедры.

  1. Каждый аспирант кафедры "Информационные системы" изучает только один из трех языков: английский, немецкий или французский. Французский язык изучают пять аспирантов. Информационный объем сообщения "Аспирант Петров изучает английский язык" равен двум битам. Количество информации, содержащееся в сообщении "Аспирант Иванов не изучает немецкий язык", равно 4-2log23 бит. Иностранный студент, приехавший в университет, знает только немецкий и французский языки. Чему равно количество аспирантов кафедры, с которыми сможет общаться иностранный студент?

  2. Добрый экзаменатор никогда не ставит двоек по информатике. По причине своей доброты он заранее определил количество отметок каждого вида и произвольно расставил их абитуриентам. Причем количество абитуриентов, которым он не поставил тройку, оказалось равно 27.Количество информации, содержащееся в сообщении "Абитуриент Иванов не сдал экзамен на отлично", равно 3-log27 бит. Информационный объем сообщения "Абитуриент Сидоров получил четверку" равен двум битам. Чему равно количество абитуриентов, получивших пятерку?

Домашнее задание (на этом этапе выдается задание на дом с пояснением его выполнения – 3 мин).

Подведение итогов урока – на этом этапе полезно:

    1. проговорить следующее:

  1. От чего зависит количество информации при совершении не равновероятных событий? (от вероятности, причем, чем она меньше, тем больше получено количества информации);

  2. Как найти количество информации при совершении не равновероятных событий? ()

    1. Огласить результаты урока (выставить оценки активно работающим учащимся)

Историческая справка:

Ральф Хартли


Ральф Хартли родился в Ели, Штате Невада, 30 ноября 1888. Он получил высшее образование со степенью A.B. от Университета Юты в 1909. Как Родосский Ученый, он получил степень B.A. в 1912 и степень B.Sc. в 1913 от Оксфордского университета. После возвращения из Англии, Хартли присоединился к Научно-исследовательской лаборатории Западной Электрической Компании и принял участие в создании радиоприемника для трансатлантических тестов. В течение Первой мировой войны, Хартли решил проблемы, которые препятствовали развитию направленных искателей звукового типа.

После войны ученый вплотную занялся проблемой передачи информации (в частности звуковой). В течение этого периода он сформулировал закон, "что общая сумма информации, которая может быть передана, пропорциональна переданному частотному диапазону и времени передачи." Хартли был пионером в области Информационной Теории. Он ввёл понятие "информации" как случайная переменная и был первый, кто попытался определить "меру информации" (1928: " Передача Информации", в Технологии Системы Звонка. Журнал, издание 7, стр 535-563). Публикация в том же самом журнале как Nyquist, и все же не цитируя Nyquist (или кто - либо еще, впрочем), Хартли развивал понятие информации, основанной на "физическом как противопоставлено с психологическими рассмотрениями" для использования в изучении электронных коммуникаций. Фактически, Хартли соответственно определяет это основное понятие. Вместо этого он обращается к "точности ... информации" и "количества информации".

Информация существует в передаче символов, с символами, имеющими "определенные значения к партийному сообщению". Когда кто - то получает информацию, каждый полученный символ позволяет получателю "устранять возможности", исключая другие возможные символы и их связанные значения. "

Точность информации зависит от того, что другие последовательности символа, возможно, были выбраны"; мера этих других последовательностей обеспечивает признак количества переданной информации. Nyquist тогда предлагает, чтобы мы взяли "как наша практическая мера информации логарифм числа возможных последовательностей символа". Таким образом, если бы мы получили 4 различных символа, происходящие с равной частотой, то это представило бы 2 бита Хартли награжден премиями за отличия в области науки, этот ученый состоял в американской Ассоциации Продвижения Науки. Хартли принадлежат больше чем 70 патентов (изобретений). Ральф В.л. Хартли умер 1 мая 1970 в возрасте 81 года.
Клод Шеннон


Клод Элвуд Шеннон (Claude Elwood Shannon, 30 апреля 1916 — 24 февраля 2001) — американский математик и электротехник, один из создателей математической теории информации, в значительной мере предопределил своими результатами развитие общей теории дискретных автоматов, которые являются важными составляющими кибернетики. В 1936 году закончил Мичиганский университет. После защиты диссертации (1940) в 1941 г. поступил на работу в знаменитые Лаборатории Белла.

С 1956 г. преподавал в МТИ.

В 1948 году опубликовал фундаментальную работу A Mathematical Theory of Communication, в которой сформулированы основы теории информации.

Большую ценность представляет другая работа — Communication Theory of Secrecy Systems (1949), в которой сформулированы математические основы криптографии.

C 1956 — член Национальной академии наук США и Американской академии искусств и наук

В 1948 г. американский инженер и математик К Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями.

Если I - количество информации,

К - количество возможных событий,

рi - вероятности отдельных событий,

то количество информации для событий с различными вероятностями можно определить по формуле:

I = - Sum рi log2 рi,

где i принимает значения от 1 до К.



Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:

I = - Sum 1 / К log2 (1 / К) = I = log2 К.

При равновероятных событиях получаемое количество информации максимально.




Как же подданному знать мнение правительства, пока не наступила история? Козьма Прутков
ещё >>