Измерение количества информации - davaiknam.ru o_O
Главная
Поиск по ключевым словам:
страница 1
Похожие работы
Название работы Кол-во страниц Размер
Измерение количества информации 1 138.13kb.
Теория информации Шеннона. Вероятностный подход к определению количества... 1 52.44kb.
Вероятностный подход к определению количества информации 1 159.21kb.
Предварительные сведения, необходимые участникам для понимания и... 1 54.19kb.
«Измерение информации» 1 28.01kb.
Билеты к весеннему зачету по географии 6а Билет №1 1 20.17kb.
Билет №2 Измерение информации: содержательный и алфавитный подходы. 1 72.32kb.
Люксметр тка-пкм 1 24.25kb.
Билет №1 Механическое движение. Путь. Скорость. Ускорение. Измерение... 1 63.38kb.
1. Что измерил Клод Шеннон? Пределы эволюционной изменчивости информационных... 3 442.76kb.
Тайное измерение 1 117.25kb.
Элизабет Шеннон у памятника мужу. Бронзовый Шеннон держит в правой 1 9.95kb.
Направления изучения представлений о справедливости 1 202.17kb.

Измерение количества информации - страница №1/1

Измерение количества информации
Цели урока:
- сформировать у учащихся понимание вероятности, равновероятных событий, неравновероятных событий; учить находить количество информации;

- воспитание информационной культуры учащихся, внимательности, аккуратности, дисциплинированности, усидчивости;

- развитие познавательных интересов, самоконтроля, умения конспектировать.
Оборудование:
доска, компьютер, мультимедийный проектор, компьютерная презентация – Приложение 1, карточки с задачами – Приложение 2, справочный материал – Приложение 3, материал для тестирования – Приложение 4.
План урока (материал рассчитан на два спаренных урока):
Первый урок:

Организационный момент.

Проверка и актуализация знаний.

Первая теоретическая часть.

Практическая часть (решение задач).

Второй урок:

Вторая теоретическая часть.

Тестираавние

Домашнее задание.

Итог урока.
ХОД УРОКА

I. Организацонный. момент.

Приветствие, проверка присутствующих. Объяснение хода урока.


II. Проверка и актуализация знаний.

  • Что такое информация?

  • Как может быть представлена информация? Приведите примеры.

  • Зависит ли смысл, содержание информации от способа представления?

  • Какие формы представления информации вы знаете?

  • Какие свойства информации вы знаете?

  • Представьте информацию о погоде в различной форме.

Мы с вами говорили, что основным понятием в информатике является “информация”. А можно ли измерить количество информации и как это сделать?

Как и любую величину, информацию можно измерять и находить ее количество.
III. Теоретическая часть.

УРОК 1.
Информация обладает качественными и количественными характеристиками.

Для того чтобы дать количественную характеристику необходимо качественные показатели отбросить. Одним из первых ученых, давших количественное определение информации, стал американский инженер Ральф Хартли.

Для того чтобы «привязать» количество информации к числам, Хартли высказал предположение:


«Возникновение и прием информации связаны с устранением неопределенности в выборе одного из нескольких возможных вариантов.»
Хартли предложил рассматривать информацию как уст­раненную неопределенность. Для измерения информации при таком определении он сформулировал следующие за­коны, которым должно подчиняться количество инфор­мации.

Если можно выбрать только один заранее всем извест­ный вариант, то количество информации при таком выборе равно нулю.

Чем больше количество возможных вариантов, тем больше информации содержится в сообщении о выборе конкретного варианта (монотонность).

Количество информации, содержащейся в сообщении о результатах нескольких (независимых) выборов, долж­но быть равно сумме количеств информации, содержа­щейся в сообщениях об этих выборах по отдельности.

Если обозначить зависимость количества информации от количества вариантов N как , то переписанные в математическом виде перечисленные законы будут выгля­деть так:

1. Info(1) = 0;

2. N1 >N 2 => Info(N1) > 1пfo(N2);

3. Info(N1)+ Info(N2)+…+ Info(Nk)= Info(N1N2N…Nk)

Сформулировав эти требования, Хартли заметил, что им полностью удовлетворяет функция логарифм:


В этом подходе за единицу информации принимается такое количество информации, которое снижает неопределенность исхода опыта (количество возможных исходов) в два раза.
При измерении количества информации Хартли учиты­вал только количество возможных исходов рассматриваемо­го опыта, не принимая во внимание то, что они могут иметь разную вероятность. Клод Элвуд Шеннон же считал, что нельзя игно­рировать информацию о том, что некоторые исходы опыта имеют большую вероятность, например:

Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятно летом, а сообщение о снеге – зимой.

Если вы – лучший ученик в классе, то вероятность сообщения о том, что за контрольную работу вы получили 5, больше, чем вероятность получения двойки.

Если на озере живет 500 уток и 100 гусей, то вероятность подстрелить на охоте утку больше, чем вероятность подстрелить гуся.

Если в мешке лежат 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого.

Если монета несимметрична (одна сторона тяжелее другой), то при ее бросании вероятности выпадения “орла” и “решки” будут различаться.
И вот в 1948 г. Шеннон предложил формулу для вычисления количества информации в случае различных вероятностей событий:

 где I – количество информации;

N – количество возможных событий;

pi – вероятность i-го события. Вероятность события выражается в долях единицы и вычисляется по формуле: (3)

где k – количество конкретных событий, т.е. величина, показывающая, сколько раз произошло интересующее нас событие.

Знак минус в формуле Шеннона не означает, что количество информации в сообщении – отрицательная величина. Объясняется это тем, что вероятность р, согласно определению, меньше единицы, но больше нуля. Так как логарифм числа, меньшего единицы, т.е. log pi – величина отрицательная, то произведение вероятности на логарифм числа будет положительным.

Например:

пусть при бросании несимметричной 4-х гранной пирамидки вероятности отдельных событий будут равны:



Тогда,


Этот подход к определению количества информации называется вероятностным.

Если , следовательно исходы равновероятны, то вероятность каждого исхода – это число , то

 

Например. Определим количество информации, которое мы получим при бросании симметричной и однородной 4-х гранной пирамидки:



Таким образом, при бросании симметричной пирамидки, когда события равновероятны, получим большее количество информации (2 бита), чем при бросании несимметричной (1,75 бита), когда события неравновероятны.

Количество информации, которое мы получаем, достигает максимального значения, если события равновероятны.

Если количество возможных вариантов информации не является целой степенью числа 2, т.е. если количество информации число вещественное, то необходимо воспользоваться калькулятором или следующей таблицей:




N

I

N

I

N

I

N

I

1

0,00000

17

4,08746

33

5,04439

49

5,61471

2

1,00000

18

4,16993

34

5,08746

50

5,64386

3

1,58496

19

4,24793

35

5,12928

51

5,67243

4

2,00000

20

4,32193

36

5,16993

52

5,70044

5

2,32193

21

4,39232

37

5,20945

53

5,72792

6

2,58496

22

4,45943

38

5,24793

54

5,75489

7

2,80735

23

4,52356

39

5,28540

55

5,78136

8

3,00000

24

4,58496

40

5,32193

56

5,80735

9

3,16993

25

4,64386

41

5,35755

57

5,83289

10

3,32193

26

4,70044

42

5,39232

58

5,85798

11

3,45943

27

4,75489

43

5,42626

59

5,88264

12

3,58496

28

4,80735

44

5,45943

60

5,90689

13

3,70044

29

4,85798

45

5,49185

61

5,93074

14

3,80735

30

4,90689

46

5,52356

62

5,95420

15

3,90689

31

4,95420

47

5,55459

63

5,97728

16

4,00000

32

5,00000

48

5,58496

64

6,00000

Вопросы:

Какие существуют два подхода к измерению информации?

Каким образом можно подсчитать количество информации в сообщении?

Одинаковую ли вероятность реализации имеют события?

Приведите примеры событий с одинаковой вероятностью, с разной вероятностью.

Как определить количество информации при равновероятных событиях?

Как определить количество информации при неравновероятных событиях?

По какой формуле вычисляется вероятность?

Как при вероятностном подходе можно измерить информацию для конкретного события?


III. Решение задач.
1. Вероятность первого события составляет 0,5, а второго и третьего – 0,25. Какое количество информации мы получим после реализации одного из них? (Ответ: 1,5 бита)

2. В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы. (Ответ: количество информации в сообщении о том, что достали белый шар, равно 1,1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит. При сравнении ответов получается следующая ситуация: вероятность вытаскивания белого шара была больше, чем вероятность вытаскивания красного шара, а информации при этом получилось меньше. Это не случайность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.)

3. В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

Вопросы к учащимся:

- Являются ли события равновероятными? Почему? (Нет, т.к. количество кубиков разное.)
Если позволяет время, то можно решить и другие задачи из карточки с заданиями – Приложение 2.
 IV Теоретическая часть

УРОК 2.


Несмотря на то, что Шеннон существенно улучшил поня­тие и способ вычисления количества информации, его подхо­ду также присущи некоторые недостатки. Так, например, его интересует лишь объективная составляющая количества информации безотносительно состояния осведомленности того, кто ее получает.

От­сюда возникает вопрос: как и по каким критериям оценивать субъективное количество информации в сообщении? Суще­ствует несколько подходов к решению этого вопроса.


Измерение целесообразности информации.

Предположим, что вероятность достижения субъектом намеченной цели до получения информации была р1 а после получения сообщения стала р2. Тогда полезный объем ин­формации может быть рассчитан как логарифм отношения вероятностей до и после принятия сообщения.

I = 1оg221).
Измерение полезности информации.

Этот подход не ори­ентирован на достижение получателем конкретной цели. Здесь вводится так называемая величина полезной инфор­мации, которая позволяет получателю увеличить объем сво­их знаний. Причем сама величина полезной информации тесным образом связана с уже имеющимся у получателя объемом знаний. Так, если получатель не знает ничего из предметной области сообщения, то само сообщение для него бесполезно. Получатель просто его не понимает. Но при этом точно так же для получателя бесполезна информация, которую он уже знает, помнит и понимает. Сообщение такой информации ему бесполезно. Для более точного определения вводится по­нятие «тезаурус».



Тезаурус это специализированный словарь, содержащий объяснение всех входящих в него понятий с помощью либо первичных понятий (которые нельзя объяснить), либо понятий, находящихся в этом же словаре.

При объеме тезауруса, равном нулю и максимальному значению, от информации нет пользы: в первом случае потребителю непонятна принимаемая информация, во вто­ром — она ему уже известна. Максимально усваивается ин­формация (т.е. она наиболее полезна) в точке, когда получа­тель обладает достаточным (но не максимально возможным) тезаурусом для понимания получаемой информации.




Алгоритмический подход.

Следует упомянуть об ориги­нальном подходе к измерению количества информации, предложенном русским математиком Андреем Николаеви­чем Колмогоровым.

Согласно Колмогорову, мерой информации, закодиро­ванной в сообщении относительно заданного интерпретато­ра1, является длина самого короткого действия из предписа­ний, которые необходимо выполнить интерпретатору, чтобы восстановить это сообщение.

Количество информации, находящейся в сообщении, определяется как длина самой короткой из программ, печатающих это сообщение.

Сообщение, которое можно легко построить по небольшо­му набору простых правил, будет содержать по Колмогорову меньше информации, чем сообщение такой же длины, но для которого не удается найти таких же простых правил.


IV. Тестирование (Приложение 4.)

V. Д/з


Стр. 16 – 23., вопросы и задания: 1,2,5,6.
VI. Итог урока.

Подведение итога урока. Выставление оценок.


Литература:

1. ИНФОРМАТИКА И ИКТ 10-11 класс. Профильный уровень. Фиошин М.Е. и др.



2. Задачник по теоретической информатике. Школьный курс. / Сост. Лапшева Е.Е. – Саратов, 2004.

3. Электронный адрес программы MyTest: http://mytest.klyaksa.net/htm/download/index.htm




Льстить — значит говорить человеку именно то, что он о себе думает. Дейл Карнеги
ещё >>