- •1. Становление теории информации
- •2. Место теории информации в рамках других наук
- •3. Виды информации и сигналов
- •4. Система связи
- •5. Дискретный источник сообщений.
- •6. Энтропия источника сообщений
- •7. Свойства энтропии
- •8. Семантическая мера информации
- •9. Прагматическая мера информации
- •10. Качество информации
- •11. Способы представления информации для ввода в компьютер
- •12. Двоичное кодирование числовой и текстовой информации
- •13. Двоичное кодирование графической и звуковой информации
- •14. Канал связи без шума
- •15. Канал связи с двумя входами и двумя выходами
- •16. Теорема Шеннона о пропускной способности канала связи
- •17. Основная теорема теории информации
- •18. Помехозащитное кодирование
- •19. Простейшие алгоритмы сжатия информации
- •20. Сжатие информации с потерями
- •21. Особенности изображений при использовании алгоритмов сжатия
- •22. Классы изображений, предназначенных для сжатия
- •23. Классы приложений для сжатия изображений
- •24. Нетрадиционные классы приложений для сжатия изображений
- •25. Требования приложений к алгоритмам компрессии
- •26. Сравнение алгоритмов компрессии
- •27. Критерии сравнения алгоритмов компрессии
- •28. Алгоритм сжатия rle
- •29. Алгоритм сжатия lzw
- •30. Алгоритм сжатия jpeg
1. Становление теории информации
Информация осознана современным обществом как необходимое условие прогресса. Наибольший экономический успех сегодня сопутствует тем предприятиям, которые активно используют современные средства коммуникаций, информационные технологии и их приложения. Новые информационные технологии и связанные с ними прикладные задачи требуют создания новой среды - информационной, а также систем управления информационными ресурсами.
На фундаментальность понятия "информация" указывал еще основоположник кибернетики Норберт Винер. Феномен информации оказался настолько неоднозначным, что по праву считается одной из сложнейших проблем современности. Уже сами попытки подобраться к понятию информации, различные его трактовки в трудах ученых и практиков заставляют задуматься о необычной роли информации в жизни развивающихся систем.
Поскольку понятие информации является наиболее сложным для понимания "информация" имеет различные трактовки в разных предметных областях. Например, информация может пониматься как:
абстракция, абстрактная модель рассматриваемой системы (в математике);
сигналы для управления, приспособления рассматриваемой системы (в кибернетике);
мера хаоса в рассматриваемой системе (в термодинамике);
вероятность выбора в рассматриваемой системе (в теории вероятностей);
мера разнообразия в рассматриваемой системе (в биологии) и др.
Первые подходы к осмыслению этой категории сделали основоположники теории информации. Еще в 1927 году Р.В.Л. Хартли отмечал, что количество информации, заключенной в любом сообщении, тесно связано с количеством возможностей, данным сообщением исключающихся. У. Эшби предостерегал против попыток рассматривать информацию как "материальную или индивидуальную вещь». В 1949 году Шеннон и Уивер представили формулу вычисления количества информации, в которой информация возрастала с уменьшением вероятности отдельного сообщения. В 1968 году Урсул указал на то, что информация неоднородна, она обладает качественными характеристиками, и два разных типа информации не могут сравниваться. Каждый уровень природы обладает собственной информацией.
2. Место теории информации в рамках других наук
Теория информации рассматривается как существенная часть кибернетики.
Кибернетика — это наука об общих законах получения, хранения, передачи и переработки информации. Ее основной предмет исследования — это так называемые кибернетические системы, рассматриваемые абстрактно, вне зависимости от их материальной природы. Примеры кибернетических систем: автоматические регуляторы в технике, компьютеры, мозг человека или животных, биологическая популяция, социум. Часто кибернетику связывают с методами искусственного интеллекта, т. к. она разрабатывает общие принципы создания систем управления и систем для автоматизации умственного труда. Основными разделами (они фактически абсолютно самостоятельны и независимы) современной кибернетики считаются: теория информации, теория алгоритмов, теория автоматов, исследование операций, теория оптимального управления и теория распознавания образов.
Теория информации тесно связана с такими разделами математики как теория вероятностей и математическая статистика, а также прикладная алгебра, которые предоставляют для нее математический фундамент. С другой стороны теория информации исторически и практически представляет собой математический фундамент теории связи. Часто теорию информации вообще рассматривают как одну из ветвей теории вероятностей или как часть теории связи. Таким образом, предмет " Теория информации" весьма узок, т. к. зажат между " чистой" математикой и прикладными (техническими) аспектами теории связи.
Теория информации представляет собой математическую теорию, посвященную измерению информации, ее потока, " размеров" канала связи и т. п., особенно применительно к радио, телеграфии, телевидению и к другим средствам связи. Первоначально теория была посвящена каналу связи, определяемому длиной волны и частотой, реализация которого была связана с колебаниями воздуха или электромагнитным излучением. Обычно соответствующий процесс был непрерывным, но мог быть и дискретным, когда информация кодировалась, а затем декодировалась. Кроме того, теория информации изучает методы построения кодов, обладающих полезными свойствами.