Кол во информации в информатике. Определение количества информации в сообщении
Для того чтобы иметь возможность сравнивать различные источники сообщений и различные линии и каналы связи, необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении и переносимую сигналом информацию. Такая мера в виде количества информации была введена К. Шенноном на основе концепции выбора, что позволило ему построить достаточно общую математическую теорию связи.
Рассмотрим основные идеи этой теории применительно к дискретному источнику, выдающему последовательность элементарных сообщений. Попытаемся найти удобную меру количества информации, заключенной в некотором сообщении. Основная идея теории информации заключается в том, что эта мера определяется не конкретным содержанием данного сообщения, а тем фактом, что источник выбирает данное элементарной т общение из конечного множества . Эта идея оправдана тем, что на ее основании удалось получить ряд далеко идущих и в то же время нетривиальных результатов, хорошо согласующихся с интуитивными представлениями о передаче информации. Основные из этих результатов будут изложены далее.
Итак, если источник производит выбор одного элементарного сообщения () из множества алфавита , то выдаваемое им количество информации зависит не от конкретного содержания этого элемента, а от того, каким образом этот выбор осуществляется. Если выбираемый элемент сообщения заранее определен, то естественно полагать, что заключающаяся в нем информация равна нулю. Поэтому будем считать, что выбор буквы происходит с некоторой вероятностью . Эта вероятность может, вообще говоря, зависеть от того, какая последовательность предшествовала данной букве. Примем, что количество информации, заключенное в элементарном сообщении является непрерывной функцией этой вероятности , и попытаемся определить вид этой функции так, чтобы он удовлетворял некоторым простейшим интуитивным представлениям об информации.
С этой целью произведем простое преобразование сообщения, заключающееся в том, что каждую пару «букв» ,создаваемых последовательно источником, мы будем рассматривать как одну укрупненную «букву». Такое преобразование назовем укрупнением алфавита. Множество укрупненных «букв» образует алфавит объемом , так как вслед за каждым из элементов алфавита может, вообще говоря, выбираться любой из элементов. Пусть есть вероятность того, что источник произведет последовательный выбор элементов и . Тогда, рассматривая пару , как букву нового алфавита можно утверждать, что в этой паре заключено количество информации .
Естественно потребовать, чтобы количество информации, заключенное в паре букв, удовлетворяло условию аддитивности, т. е. равнялось сумме количеств информации, содержащихся в каждой из букв и первоначального алфавита . Информация, содержащаяся в букве , равна , где - вероятность выбора буквы после всех букв, предшествовавших ей. Для определения информации, содержащейся в букве , нужно учесть вероятность выбора буквы после буквы с учетом также всех букв, предшествовавших букве . Эту условную вероятность обозначим . Тогда количество информации в букве выразится функцией .
С другой стороны, вероятность выбора пары букв по правилу умножения вероятностей равна
Требование аддитивности количества информации при операции укрупнения алфавита приводит к равенству
Пусть и . Тогда
для любых и
должно
соблюдаться уравнение
Случаи или мы исключаем из рассмотрения, так как вследствие конечного числа букв алфавита эти равенства означают, что выбор источником пары букв , является невозможным событием.
Равенство (1.3) является функциональным уравнением, из которого может быть определен вид функции . Продифференцируем обе части уравнения (1.3) по р:
.
Умножим обе части полученного уравнения на р и введем обозначение , тогда
(1.4)
Это уравнение должно быть справедливо при любом и любом . Последнее ограничение не существенно, так как уравнение (1.4) симметрично относительно и и, следовательно, должно выполняться для любой пары положительных значений аргументов, не превышающих единицы. Но это возможно лишь в том случае, если обе части (1.4) представляют некоторую постоянную величину , откуда
Интегрируя полученное уравнение, найдем
, (1.5)
где - произвольная постоянная интегрирования.
Формула (1.5) определяет класс функций , выражающих количество информации при выборе буквы , имеющей вероятность , и удовлетворяющих условию аддитивности. Для определения постоянной интегрирования воспользуемся высказанным выше условием, по которому заранее предопределенный элемент сообщения, т. е. имеющий вероятность , не содержит информации. Следовательно, , откуда сразу следует, что . - основание натуральных логарифмов), или, другими словами, равна информации, содержащейся в сообщении о том, что наступило событие, вероятность которого равнялась
считая, что логарифм берется по любому основанию, лишь бы это основание сохранялось на протяжении решаемой задачи.
Благодаря свойству аддитивности информации выражения (1.6) позволяют определить количество информации не только в букве сообщения, но и в любом сколь угодно длинном сообщении. Нужно лишь принять за вероятность выбора этого сообщения из всех возможных с учетом ранее выбранных сообщений.
Лабораторная работа № 1
ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ В СООБЩЕНИИ
1 Цель и содержание
Ввести понятие «количество информации»; сформировать у студентов понимание вероятности, равновероятных и неравновероятных событий; научить студентов определять количество информации.
Данное практическое занятие содержит сведения о подходах к определению количества информации в сообщении.
2 Теоретическое обоснование
2.1 Введение понятия «количество информации»
В основе нашего мира лежат три составляющие вещество, энергия и информация. А как много в мире вещества, энергии и информации? Можно измерить количество вещества, например взвесив его. Можно определить количество тепловой энергии в Джоулях, электроэнергии в киловатт/часах и т. д.
А можно ли измерить количество информации и как это сделать? Оказывается, информацию также можно измерять и находить ее количество. Количество информации в сообщении зависит от его информативности. Если в сообщении содержатся новые и понятные сведения , то такое сообщение называется информативным .
Например, содержит ли информацию учебник информатики для студентов, обучающихся в университете? (Ответ да). Для кого он будет информативным для студентов, обучающихся в университете или учеников 1 класса? (Ответ для студентов, обучающихся в университете он будет информативным, так как в нем содержится новая и понятная ему информация, а для учеников 1 класса он информативным не будет, так как информация для него непонятна).
Количество информации в некотором сообщении равно нулю, если оно с точки зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля.
Но информативность сообщения сама по себе не дает точного определения количества информации. По информативности можно судить только о том, много информации или мало.
2.2 Вероятностный подход к определению количества информации
Если некоторое сообщение является информативным, следовательно, оно пополняет нас знаниями или уменьшает неопределенность наших знаний. Другими словами сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.
Например, мы бросаем монету и пытаемся угадать, какой стороной она упадет на поверхность. Возможен один результат из двух: монета окажется в положение «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т. е. ни одно из них не имеет преимущества перед другим.
Перед броском монеты мы точно не знаем, как она упадет. Это событие предсказать невозможно, т. е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т. к. мы получает зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределенность нашего знания в два раза, т. к. из двух равновероятных событий произошло одно.
Если мы кидаем шестигранный кубик, то мы также не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных . Неопределенность знаний равна шести , т. к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз .
Контрольный пример . На экзамене приготовлено 30 билетов.
- Чему равно количество событий, которые могут произойти при вытягивании билета? (Ответ 30).
- Равновероятны эти события или нет? (Ответ равновероятны).
- Чему равна неопределенность знаний студента перед тем как он вытянет билет? (Ответ 30).
- Во сколько раз уменьшится неопределенность знаний после того как студент билет вытянул? (Ответ в 30 раз).
- Зависит ли этот показатель от номера вытянутого билета? (Ответ нет, т. к. события равновероятны).
Можно сделать следующий вывод.
Чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.
Для того, чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту .
Таким образом 1 бит это количество информации, уменьшающее неопределенность знаний в два раза .
Группа из 8 битов информации называется байтом . Если бит минимальная единица информации, то байт ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кбт), мегабайт (Мбайт, Мбт) и гигабайт (Гбайт, Гбт).
1 Кбт = 1024 байта = 2 10 (1024) байтов.
1 Мбт = 1024 Кбайта = 2 20 (1024 1024) байтов.
1 Гбт = 1024 Мбайта = 2 30 (1024 1024 1024) байтов.
Существует формула, которая связывает между собой количество возможных событий и количество информации:
N = 2 i ,
где N количество возможных вариантов;
I количество информации.
Отсюда можно выразить количество информации в сообщении об одном из N равновероятных событий: I = log 2 N .
Контрольный пример . Пусть имеется колода карт, содержащая 32 различные кары. Мы вытаскиваем одну карту из колоды. Какое количество информации мы получим?
Количество возможных вариантов выбора карты из колоды 32 (N = 32) и все события равновероятны. Воспользуемся формулой определения количества информации для равновероятных событий I = log 2 N = log 2 32 = 5 (32 = 2 i ; 2 5 = 2 i ; отсюда I = 5 бит).
Если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2 i достаточно легко. Если же количество возможных вариантов не является целой степенью числа 2, то необходимо воспользоваться инженерным калькулятором; формулу I = log 2 N представить как и произвести необходимые вычисления.
Контрольный пример . Какое количество информации можно получить при угадывании числа из интервала от 1 до 11?
В этом примере N = 11. Число 11 не является степенью числа 2, поэтому воспользуемся инженерным калькулятором и произведем вычисления для определения I (количества информации). I = 3,45943 бит.
2.3 Неравновероятные события
Очень часто в жизни мы сталкиваемся с событиями, которые имеют разную вероятность реализации. Например:
1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятны летом, а сообщение о снеге зимой.
2. Если вы лучший студент в группе, то вероятность сообщения о том, что за контрольную работу вы получите 5, больше, чем вероятность получения двойки.
3. Если в мешке лежит 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого.
Как вычислить количество информации в сообщении о таком событии? Для этого необходимо использовать следующую формулу:
где I это количество информации;
p вероятность события.
Вероятность события выражается в долях единицы и вычисляется по формуле: где K величина, показывающая, сколько раз произошло интересующее нас событие; N общее число возможных исходов какого-то процесса.
Контрольный пример . В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы.
1. Найдем вероятность того, что достали белый шар:
2. Найдем вероятность того, что достали красный шар:
3. Найдем количество информации в сообщении о вытаскивании белого шара: бит.
4. Найдем количество информации в сообщении о вытаскивании красного шара: бит.
Количество информации в сообщении о том, что достали белый шар, равно 1, 1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит.
При сравнении ответов получается следующая ситуация: вероятность вытаскивания белого шара была больше, чем вероятность красного шара, а информации при этом получилось меньше. Это не случайность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.
2.4 Алфавитный подход к измерению количества информации
При определения количества информации с помощью вероятностного подхода количество информации зависит от ее содержания, понятности и новизны. Однако любое техническое устройство не воспринимает содержание информации. Поэтому с этой точки зрения используется другой подход к измерению информации алфавитный.
Предположим, что у нас есть текст, написанный на русском языке. Он состоит из букв русского алфавита, цифр, знаков препинания. Для простоты будем считать, что символы в тексте присутствуют с одинаковой вероятностью.
Множество используемых в тексте символов называется алфавитом. В информатике под алфавитом понимают не только буквы, но и цифры, и знаки препинания, и другие специальные знаки. У алфавита есть размер (полное количество его символов), который называется мощностью алфавита. Обозначим мощность алфавита через N . Тогда воспользуемся формулой для нахождения количества информации из вероятностного подхода: I = log 2 N . Для расчета количества информации по этой формуле нам необходимо найти мощность алфавита N .
Контрольный пример . Найти объем информации, содержащейся в тексте из 3000 символов, и написанном русскими буквами.
1. Найдем мощность алфавита:
N = 33 русских прописных буквы + 33 русских строчных буквы + 21 специальный знак = 87 символов.
2. Подставим в формулу и рассчитаем количество информации:
I = log 2 87 = 6,4 бита.
Такое количество информации информационный объем несет один символ в русском тексте. Теперь, чтобы найти количество информации во всем тексте, нужно найти общее количество символов в нем и умножить на информационный объем одного символа. Пусть в тексте 3000 символов.
6,4 3000 = 19140 бит.
Теперь дадим задание переводчику перевести этот текст на немецкий язык. Причем так, чтобы в тексте осталось 3000 символов. Содержание текста при этом осталось точно такое же. Поэтому с точки зрения вероятностного подхода количество информации также не изменится, т. е. новых и понятных знаний не прибавилось и не убавилось.
Контрольный пример . Найти количество информации, содержащейся в немецком тексте с таким же количеством символов.
1. Найдем мощность немецкого алфавита:
N = 26 немецких прописных буквы + 26 немецких строчных букв + 21 специальный знак = 73 символа.
2. Найдем информационный объем одного символа:
I = log 2 73 = 6,1 бит.
3. Найдем объем всего текста:
6,1 3000 = 18300 бит.
Сравнивая объемы информации русского текста и немецкого, мы видим, что на немецком языке информации меньше, чем на русском. Но ведь содержание не изменилось! Следовательно, при алфавитном подходе к измерению информации ее количество не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте. С точки зрения алфавитного подхода, в толстой книге информации больше, чем в тонкой. При этом содержание книги не учитывается.
Правило для измерения информации с точки зрения алфавитного подхода:
- Найти мощность алфавита N.
- Найти информационный объем одного символа I = log 2 N .
- Найти количество символов в сообщении K .
- Найти информационный объем всего сообщения K I ..
Контрольный пример . Найти информационный объем страницы компьютерного текста.
Примечание . В компьютере используется свой алфавит, который содержит 256 символов.
1. Найдем информационный объем одного символа:
I = log 2 N, где N = 256.
I = log 2 256 = 8 бит = 1 байт .
2. Найдем количество символов на странице (примерно, перемножив количество символов в одной строке на количество строк на странице).
40 символов на одной строке 50 строк на странице = 2000 символов.
3. Найдем информационный объем всей страницы:
1 байт 2000 символов = 2000 байт.
Информационный объем одного символа несет как раз 1 байт информации. Поэтому достаточно подсчитать количество символов в тексте, которое и даст объем текста в байтах.
Например, если в тексте 3000 символов, то его информационный объем равен 3000 байтам.
3 Задания
1. Какое количество информации будет получено при отгадывании числа из интервала от 1 до 64; от 1 до 20?
2. Какое количество информации будет получено после первого хода в игре «крестики-нолики» на поле 3 x 3; 4 x 4?
3. Сколько могло произойти событий, если при реализации одного из них получилось 6 бит информации?
4. В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.
5. В коробке лежат 36 кубиков: красные, зеленые, желтые, синие. Сообщение о том, что достали зеленый кубик, несет 3 бита информации. Сколько зеленых кубиков было в коробке.
6. В группе учатся 12 девочек и 8 мальчиков. Какое количество информации несет сообщение, что к доске вызовут девочку; мальчика?
7. Найти объем текста, записанного на языке, алфавит которого содержит 128 символов и 2000 символов в сообщении.
8. Найти информационный объем книги в 130 страниц.
9. Расположите в порядке возрастания:
1 Мбт, 1010 Кбт, 10 000 бит, 1 Гбт, 512 байт.
10. В пропущенные места поставьте знаки сравнения <, >, =:
1 Гбт … 1024 Кбт … 10 000 бит … 1 Мбт … 1024 байт.
1. Какое сообщение называется информативным?
2. Что значит событие равновероятно; неравновероятно?
3. Что такое 1 бит информации?
4. Как определить количество информации для равновероятных событий?
5. Как определить количество информации для неравновероятных событий?
6. В чем заключается алфавитный подход к измерению количества информации
1.Установите знаки сравнения (<, > , =):
1байт 32бита 4байта 1Мбайт 1024Кбайт
2.Упорядочите по убыванию:
5байт 25бит 1Кбайт 1010байт
3.Упорядочите по возрастанию:
2Мбайта 13байт 48бит 2083Кбайт
4.Книга содержит 100 страниц; на каждой странице по 35 строк, в каждой строке - 50 символов. Рассчитать объем информации, содержащийся в книге.
5.Имеется следующая черно-белая картинка. Определите информационный объем этой картинки.
6.В языке племени Мумбо-Юмбо всего 129 разных слов. Сколько бит нужно чтобы закодировать любое из этих слов?
8.Дана черно-белая картинка. Определите количество информации, содержащейся в картинке.
9.Информационный объем черно-белой картинки равен 6000бит. Какое количество точек содержит картинка
Цели урока: формировать умения и навыки учащихся применять знания по образцу и в изменённой ситуации по изучаемой теме: находить количество информации при решении задач, в условии которых события являются равновероятными и не равновероятными.
Требования к знаниям и умениям:
Учащиеся должны знать:
- как найти вероятность события;
- как найти количество информации в сообщении, что произошло одно из равновероятных событий или одно из не равновероятных событий.
Учащиеся должны уметь:
- различать равновероятные и не равновероятные события;
- находить количество информации в сообщении, что произошло одно из равновероятных событий или одно из не равновероятных событий.
- находить количество возможных вариантов того или иного события, если известно количество информации в сообщении о том, что событие произошло.
Программно-дидактическое обеспечение:персональный компьютер,проектор, мультимедийная доска SMART-Board, карточки для опроса учащихся.
Ход урока
I. Постановка целей урока
- “Вы выходите на следующей остановке?” - спросили человека в автобусе. “Нет”, - ответил он. Сколько информации содержит ответ?
- В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?
- В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?
II. Проверка домашнего задания
Все ли выполнили домашнее задание? Какие задания вызвали трудности?
- Начнём проверку домашнего задания со следующего: давайте выясним, чья вероятность вызова к доске для ответа больше.
/ Для этого учитель проецируем общее количество оценок, которое мог бы получить учащийся на данный момент времени, а также количество оценок каждого ученика.
Ученики производят вычисления самостоятельно и называют результаты. Далее выполнение домашнего задания ученики показывают в порядке убывания полученных вероятностей. Решение задач демонстрируется на доске в слайдовой презентации./
2. Выборочно проводится опрос по карточкам, приготовленным заранее.
1) Какие существуют подходы к измерению
информации?
2) Какое сообщение называют информативным?
3) Может ли количество информации в сообщении
быть равным нулю?
Задание:вставьте пропущенные слова.
– Сообщение называется …, если в нем содержатся новые и понятные сведения.
– События, не имеющие преимущество друг перед другом, называются...
– Чем больше начальное число возможных... событий, тем в большее количество раз уменьшается... и тем большее... будет содержать сообщение о результатах опыта.
– Количество информации, которое находится в сообщении о том, что произошло одно событие из... равновероятных, принято за единицу измерения информации и равно...
– 1 бит - это количество информации, ... неопределенность знаний в два раза.
– I = log 2 N – количество информации в... событии, где N – это..., а I – ...
– I = log 2 (l/p) – количество информации в... событии, где р – это..., а вероятность события выражается в... и вычисляется по формуле:...
Все остальные учащиеся выполняют кроссворд по основным понятиям приложение 1 .
III. Решение задач
1. Решение задач, в условии которых события являются равновероятными
В течении 10 минут ученики выполняют решения задач / задаётся произвольный темп решения, т.о., часть детей решит задач больше, часть меньше в меру своих возможностей
Вопросы к задачам:
- Почему в задаче события равновероятные?
- Что нужно найти в задаче: количество информации или количество вариантов информации?
- Какую формулу нужно использовать в задаче?
- Чему равно N? Как найти I?
Чему равно I? Как найти N?
“Вы выходите на следующей остановке?” – спросили человека в автобусе. “Нет”, - ответил он. Сколько информации содержит ответ?
Решение: человек мог ответить только “Да” или “Нет”, т.е. выбрать один ответ из двух возможных. Поэтому N = 2. Значит I = 1 бит (2 = ).
Ответ: 1 бит.
“Петя! Ты пойдешь сегодня в кино?” – спросил я друга. “Да”, – ответил Петя. Сколько информации я получил?
Решение: Петя мог ответить только “Да” или “Нет”, т.е. выбрать один ответ из двух возможных. Поэтому N = 2. значит I = 1 бит (2 = 2 1).
Ответ: 1 бит.
Сколько информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?
Решение: так как неопределенность знаний уменьшается в 8 раз, следовательно, она было равна 8, т.е. существовало 8 равновероятных событий. Сообщение о том, что произошло одно из них, несет 3 бита информации (8 = 2 3).
Ответ: 3 бита.
Какой объем информации содержит сообщение, уменьшающее неопределенность в 4 раза?
Решение: так как неопределенность знаний уменьшается в 4 раз, следовательно, она было равна 4, т.е. существовало 4 равновероятных событий. Сообщение о том, что произошло одно из них, несет 2 бита информации (4 = 2 2).
Ответ: 2 бита.
Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?
Решение: из двух сигналов (желтого и зеленого) необходимо выбрать один - зеленый. Поэтому N = 2, а I = 1 бит.
Ответ: 1 бит.
Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?
Решение: из 4 дорожек необходимо выбрать одну, т.е. N = 4. Значит по формуле I = 2, т.к. 4 = 2 2 .
Пояснение: номер дорожки (3) не влияет на количество информации, так как вероятности событий в этих задачах мы приняли считать одинаковыми.
Ответ: 2 бита.
На железнодорожном вокзале 8 путей отправления поездов. Вам сообщили, что ваш поезд прибывает на четвертый путь. Сколько информации вы получили?
Решение: из 8 путей нужно выбрать один. Поэтому N = 8, а I = 3, т.к. 8 = Пояснение: номер пути (4) не влияет на количество информации, так как вероятности событий в этих задачах мы приняли считать одинаковыми.
Ответ: 3 бита.
В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение о том, что из коробки достали красный кубик?
Решение: из 16 равновероятных событий нужно выбрать одно. Поэтому N = 16, следовательно, I = 4 (16 = 2 4).
Пояснение: события равновероятны, т.к. всех цветов в коробке присутствует по одному.
Ответ: 4 бита.
Была получена телеграмма: “Встречайте, вагон 7”. Известно, что в составе поезда 16 вагонов. Какое количество информации было получено?
Решение: так как из 16 вагонов нужно выбрать один, то N = 16, следовательно, 1 = 4(16 = 2 4).
Ответ: 4 бита.
При угадывании целого числа в диапазоне от 1 до N было получено 9 бит информации. Чему равно N?
Решение: N = 2 9 = 512.
Ответ: диапазон чисел имеет значение от 1 до 512.
При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?
Решение: N = 2 8 = 256.
Ответ: 256 чисел.
Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?
Решение: N = 2 4 = 16 этажей.
Пояснение: события равновероятны, т.к. номера этажей не повторяются.
Ответ: 16 этажей.
Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?
Решение: N = 2 3 = 8 подъездов.
Пояснение: события равновероятны, т.к. номера подъездов не повторяются.
Ответ: 8 подъездов.
В школьной библиотеке 16 стеллажей с книгами. На каждом стеллаже 8 полок. Библиотекарь сообщил Пете, что нужная ему книга находится на пятом стеллаже на третьей сверху полке. Какое количество информации библиотекарь передал Пете?
Решение: существует 16*8 = 128 вариантов местонахождения книги. Из этого количеств вариантов необходимо выбрать один. Следовательно, N = 128, а I = 7, т.к. 128 = 2 7 .
Ответ: 7 бит.
Загадано слово из 10 букв. Вы просите открыть пятую букву. Вам ее открыли. Сколько информации вы получили?
Решение: N = 10, следовательно, I = log 2 10.
Смотрим по таблице / приложение 2 / и видим, что I = 3,32193 бит.
Ответ: 3,3 бит
В коробке лежат 6 разноцветных фломастеров. Какое количество информации содержит сообщение, что из коробки достали синий фломастер?
Решение: N = 6, следовательно, I = log 2 6. Смотрим по таблице и видим, что I = 2,58496 бит.
Ответ: 2,5 бит.
Какое количество информации несет сообщение: “Встреча назначена на май”?
Решение: так как месяцев в году 12, то из этого количества сообщений нужно выбрать одно. Значит N = 16, а I = log 2 12. Смотрим по таблице и видим, что I = 3,58496 бит.
Ответ: 3,5 бит.
Какое количество информации несет сообщение о том, что встреча назначена на 20 число?
Решение: так как дней в месяце 30 или 31, то из этого количества сообщений нужно выбрать одно. Значит N = 30 или 31, а I = log 2 30 (или 31). Смотрим по таблице и видим, что I = 4,9 бит.
Ответ: 4,9 бит.
2. Решение задач, в условии которых события не равновероятны
Запишите формулу на доске для нахождения количества информации в ситуации с не равновероятными событиями. Что означает каждая буква и как выразить одну величину через другую.
В соответствии с уровнем обучаемости 1 группа детей решают более простые задачи №1 – №5, 2 группа -более сложные – №6 – №9.
Вопрос к задачам:
Почему события в задаче не равновероятные? Сравните вероятности событий между собой.
В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?
Дано: N, = 8; N 6 = 24.
Найти: I ч = ?
В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?
Дано: N = 64; I 6 = 4.
Найти: К = ?
1) I 6 = log 2 (l/p 6); 4 = log2(l/p 6); 1/р б = 16; p 6 = 1/16 – вероятность доставания белого карандаша;
2) р б = ; = ; = = 4 белых карандаша.
Ответ: 4 белых карандаша.
В классе 30 человек. За контрольную работу по математике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Андреев получил пятерку?
Дано: N = 30; К 5 = 6; К 4 = 15; К 3 = 8; К, = 1.
Найти: I 4 - ?
Решение: 1) р 4 = = - вероятность получения оценки “5”;
2)I 4 = log 2 () = log 2 ()=1бит
Ответ: 1 бит.
Известно, что в ящике лежат 20 шаров. Из них 10 – синих, 5 – зеленых, 4 - желтых и 1 - красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар, белый шар, желтый шар, красный шар?
Дано: К = 10; К = 5; К ж = 4; К = 1; N = 20.
Найти: I ч, I 6 ,I ж, I к.
6)I 6 = log 2 (l/l/4) = 2 бит;
7)I ж = 1оg 2 (1/1/5) = 2,236 бит;
8) I к = log 2 (1/1/20) – 4,47213 бит.
Ответ: I с = 1 бит, I з = 2 бит, I ж = 2,236 бит, I к = 4,47213 бит.
За четверть ученик получил 100 оценок. Сообщение о том, что он получил пятерку, несет 2 бита информации. Сколько пятерок ученик получил за четверть?
Дано: N = 100,I 4 = 2 бита.
Найти: К 4 - ?
1) I 4 = log 2 (l/p 4), 2 = log 2 (l/p 4), = 4, р 4 = – вероятность получения “5”;
2) I 4 = К 4 /100, К 4 = 100/4 = 25 – количество “5”.
Ответ: 25 пятерок.
В ящике лежат перчатки (белые и черные). Среди них – 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько пар белых перчаток было в ящике?
Дано: К ч = 2,1 ч = 4 бита.
Найти: К 6 – ?
Решение:
3) К 6 = N – К = 32 – 2 = 30 пар белых перчаток.
Ответ: 30 пар белых перчаток.
Для ремонта школы использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски. Сообщение о том, что закончилась банка белой краски, несет 2 бита информации. Синей краски израсходовали 8 банок. Сколько банок коричневой краски израсходовали на ремонт школы?
Дано: Кб = Кс =8, I 6 = 2 бита.
Найти: К – ?
3) К к = N – К 6 – К с = 32 – 8 – 8 - 16 банок коричневой краски.
Ответ: 16 банок коричневой краски.
В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?
Дано: К = 16, I = 2 бита.
Найти: N – ?
1) 1/р 6 = 2 I , 1/р 6 = 2 2 = 4, р 6 = – вероятность доставания белого шара;
2) р б = = , = , К 6 + 18 = 4 , 18 = 3 К 6 ,
К б = 6 – белых шаров;
3) N = К ч +К; = 18 + 6 = 24 шара было в корзине.
Ответ: 24 шара лежало в корзине.
На остановке останавливаются троллейбусы с разными номерами. Сообщение о том, что к остановке подошел троллейбус с номером N1 несет 4 бита информации. Вероятность появления на остановке троллейбуса с номером N2 в два раза меньше, чем вероятность появления троллейбуса с номером N1. Сколько информации несет сообщение о появлении на остановке троллейбуса с номером N2?
Дано: I NI = 4 бита, p N1 = 2p N2
Найти: I N2 - ?
Решение: 1) 1/P N , = 2 1NI =2 4 = 16, p NI = 1/16-вероятность появления троллейбуса N1;
- p N| = 2-p N2 , p N2 = p N ,/2 = 1/32 – вероятность появления троллейбуса N2;
- I N2 = log 2 (l/p N2) = log 2 32 = 5 бит - несет сообщение о появлении троллейбуса N2.
Ответ: 5 бит несет сообщение о появлении на остановке троллейбуса №2.
IV. Итоги урока
Оценка работы класса и отдельных учащихся, отличившихся на уроке.
V. Домашнее задание
Уровень знания: Решите задачи:
- В розыгрыше лотереи участвуют.64 шара. Выпал первый шар. Сколько информации содержит зрительное сообщение об этом?
- В игре “ лото” используется 50 чисел. Какое количество информации несет выпавшее число?
Уровень понимания:
- Какое количество информации несет сообщение о том, что встреча назначена на 3 июля в 18.00 часов?
- Вы угадываете знак зодиака вашего друга. Сколько вопросов вам нужно при этом задать? Какое количество информации вы получите?
- В ящике лежат фигурки разной формы - треугольные и круглые. Треугольных фигурок в ящике 15. Сообщение о том, что из ящика достали фигуру круглой формы, несет 2 бита информации. Сколько всего фигурок было в ящике?
- В ведерке у рыбака караси и щуки. Щук в ведерке 3. Зрительное сообщение о том, что из ведра достали карася, несет 1 бит информации. Сколько всего рыб поймал рыбак?
Уровень применения:
Дополнительный материал. 1. Частотный словарь русского языка - словарь вероятностей (частот) появления букв в произвольном тексте – приведен ниже. Определите, какое количество информации несет каждая буква этого словаря.
| о | 0.090 | в | 0.035 | я | 0.018 | ж | 0.007 |
| е, е | 0.072 | к | 0.028 | Ы, 3 | 0.016 | ю, ш | 0.006 |
| а, и | 0.062 | м | 0.026 | ь, ъ, б | 0.014 | ц, щ, э | 0.003 |
| т, н | 0.053 | д | 0.025 | ч | 0.013 | ф | 0.002 |
| с | 0.045 | п | 0.023 | й | 0.012 | ||
| р | 0.040 | У | 0.021 | X | 0.009 |
2. Используя результат решения предыдущей задачи, определите количество информации в слове “компьютер”.
Используемая литература:
- О.Л. Соколова “ Вероятностный подход к определению количества информации”, Москва, ВАКО, 2006 г.
- журналы “Информатика и образования”, 2007 г.
Количество информации
Количество информации как мера уменьшения неопределенности знания.
(Содержательный подход к определению количества информации)
Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. д.). Получение новой информации приводит к расширению знаний или, как иногда говорят, к уменьшению неопределенности знания. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.
Например, после сдачи зачета или выполнения контрольной работы вы мучаетесь неопределенностью, вы не знаете, какую оценку получили. Наконец, учитель объявляет результаты, и вы получаете одно из двух информационных сообщений: "зачет" или "незачет", а после контрольной работы одно из четырех информационных сообщений: "2", "3", "4" или "5".
Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности вашего знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.
Ясно, что чем более неопределенна первоначальная ситуация (чем большее количество информационных сообщений возможно), тем больше мы получим новой информации при получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания).
Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.
Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:
| N = 2 i | (1.1) |
Бит . Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины в качестве единицы выбран метр, для измерения массы - килограмм и т. д. Аналогично, для определения количества информации необходимо ввести единицу измерения.
За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом .
Если вернуться к рассмотренному выше получению информационного сообщения о результатах зачета, то здесь неопределенность как раз уменьшается в два раза и, следовательно, количество информации, которое несет сообщение, равно 1 биту.
Производные единицы измерения количества информации. Минимальной единицей измерения количества информации является бит, а следующей по величине единицей - байт, причем:
1 байт = 8 битов = 2 3 битов.
В информатике система образования кратных единиц измерения несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10 n , где n = 3, 6, 9 и т. д., что соответствует десятичным приставкам "Кило" (10 3), "Мега" (10 6), "Гига" (10 9) и т. д.
В компьютере информация кодируется с помощью двоичной знаковой системы, и поэтому в кратных единицах измерения количества информации используется коэффициент 2 n
Так, кратные байту единицы измерения количества информации вводятся следующим образом:
1 килобайт (Кбайт) = 2 10 байт = 1024 байт;
1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт;
1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт.
Контрольные вопросы
- 1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знания.
2. Приведите примеры информационных сообщений, которые несут 1 бит информации.
Определение количества информации
Определение количества информационных сообщений. По формуле (1.1) можно легко определить количество возможных информационных сообщений, если известно количество информации. Например, на экзамене вы берете экзаменационный билет, и учитель сообщает, что зрительное информационное сообщение о его номере несет 5 битов информации. Если вы хотите определить количество экзаменационных билетов, то достаточно определить количество возможных информационных сообщений об их номерах по формуле (1.1):
Таким образом, количество экзаменационных билетов равно 32.
Определение количества информации. Наоборот, если известно возможное количество информационных сообщений N, то для определения количества информации, которое несет сообщение, необходимо решить уравнение относительно I.
Представьте себе, что вы управляете движением робота и можете задавать направление его движения с помощью информационных сообщений: "север", "северо-восток", "восток", "юго-восток", "юг", "юго-запад", "запад" и "северо-запад" (рис. 1.11). Какое количество информации будет получать робот после каждого сообщения?
Всего возможных информационных сообщений 8, поэтому формула (1.1) принимает вид уравнения относительно I:
Разложим стоящее в левой части уравнения число 8 на сомножители и представим его в степенной форме:
8 = 2 × 2 × 2 = 2 3 .
Наше уравнение:
Равенство левой и правой частей уравнения справедливо, если равны показатели степени числа 2. Таким образом, I = 3 бита, т. е. количество информации, которое несет роботу каждое информационное сообщение, равно 3 битам.
Алфавитный подход к определению количества информации
При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.
Информационная емкость знака . Представим себе, что необходимо передать информационное сообщение по каналу передачи информации от отправителя к получателю. Пусть сообщение кодируется с помощью знаковой системы, алфавит которой состоит из N знаков {1, ..., N}. В простейшем случае, когда длина кода сообщения составляет один знак, отправитель может послать одно из N возможных сообщений "1", "2", ..., "N", которое будет нести количество информации I (рис. 1.5).
| Рис. 1.5. Передача информации |
Формула (1.1) связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение. Тогда в рассматриваемой ситуации N - это количество знаков в алфавите знаковой системы, а I - количество информации, которое несет каждый знак:
С помощью этой формулы можно, например, определить количество информации, которое несет знак в двоичной знаковой системе:
N = 2 => 2 = 2 I => 2 1 = 2 I => I=1 бит.
Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации "бит" (bit) получила свое название ОТ английского словосочетания "Binary digiT" - "двоичная цифра".
Информационная емкость знака двоичной знаковой системы составляет 1 бит.
Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак. В качестве примера определим количество информации, которое несет буква русского алфавита. В русский алфавит входят 33 буквы, однако на практике часто для передачи сообщений используются только 32 буквы (исключается буква "ё").
С помощью формулы (1.1) определим количество информации, которое несет буква русского алфавита:
N = 32 => 32 = 2 I => 2 5 = 2 I => I=5 битов.
Таким образом, буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению количества информации).
Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.
В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв "а" и в сто раз меньшее количество буквы "ф" (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы "а" она наименьшая, а у буквы "ф" - наибольшая).
Количество информации в сообщении. Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации.
Если знаки несут одинаковое количество информации, то количество информации I c в сообщении можно подсчитать, умножив количество информации I з, которое несет один знак, на длину кода (количество знаков в сообщении) К:
I c = I з × K
Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию в 2 бита, три цифры - в 3 бита и т. д. Количество информации в битах равно количеству цифр двоичного компьютерного кода (табл. 1.1).
Таблица 1.1. Количество информации, которое несет двоич ный компьютерный код
Статьи по теме
