Теория информации

Теория информации - это ветвь математической теории вероятности и математической статистики, в которой определяется концепция информации.

Теория информации тесно связана с информационной энтропией, коммуникационными системами , передачей данных и теорией скорости искажения, криптографией, сжатием данных, коррекцией ошибок, и другими смежными областями.

Содержание

История

Клод Шэннон (19162001) называется «отцом теории информации». Его теория с самого начала рассматривалась как строго сформулированная математическая задача в статистике и дала инженерам средств передачи информации путь к определению ёмкости коммуникационного канала в терминах количества бит. Передающая часть теории не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие c потерями субъекта сообщения, используя критерий точности.

Отношение к термодинамической энтропии

Информационная энтропия как определено Шенноном и добавлено другими физиками близко соотносится с понятием термодинамической энтропии.

Прогресс в изучении

В 1995, Тим Палмер сообщил, что два неописанных ранее предположения о Шенноновском определении информации делают их неприменимыми таким же образом к квантовой механике:

  • Предположение что предмет существует в наблюдаемом состоянии (например верхняя грань игральной кости или монеты) перед тем, как наблюдение началось
  • Факт, что знание этого состояния не зависит от порядка, в котором было совершено наблюдение (коммутативность)

Для учебного пособия по квантовой информации смотрите [1].

Приложения

См. также

Библиография

  • Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0252725484
  • Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0471062596
  • R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
  • Maxwell's Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 069108727X
  • Колмогоров А.Н. Три подхода к определению понятия "Количество информации"

Четко сформулированы три способа определения количества информации: комбинаторный, вероятностный и алгоритмический. Новое в жизни, науке, технике. Сер. "Математика, кибернетика", N1, 1991, С.24-29. Перепечатка из "Проблемы передачи информации", N1, 1965, С.1-7.

  • Потапов В.Н. Теория информации. Кодирование дискретных вероятностных источников

Хорошая методичка по кодированию источников. Уч. пособие / Новосибирский государственный университет. -- Новосибирск, 1999.

  • Шульгин В.И. Основы теории передачи информации

Учебное пособие к курсу, читаемому в харьковском Национальном аэрокосмическом университете.. В первой части даются основные положения теории кодирования источников (с акцентом на обработку непрерывных сигналов). Кратко описаны методы сжатия произвольных данных, изображений, аудио и видео, в том числе: методы Хаффмана, Шеннона-Фано, Зива-Лемпела, арифметическое сжатие, DCT в JPEG, фрактальное сжатие, АДИКМ (ADPCM), некоторые вокодеры. Во второй части описаны некоторые схемы помехоустойчивого кодирования: линейные, циклические, сверточные, каскадные коды. Основы теории передачи информации. Ч. I. Экономное кодирование / В.И. Шульгин. - Учеб. пособие. – Харьков: Нац. аэрокосм. ун-т «Харьк. авиац. ин-т», 2003. - 102 с. Основы теории передачи информации. Ч. 2. Помехоустойчивое кодирование / В.И. Шульгин. - Учеб. пособие. – Харьков: Нац. аэрокосм. ун-т «Харьк. авиац. ин-т», 2003. - 87 с.

Ссылки

  • Лидовский В.В. Учебное пособие по курсу "Теория информации" Учебное пособие по теории информации. Даются базовые понятия теории информации, рассматриваются ряд схем экономного и помехоустойчивого кодирований, излагаются основы криптографии. Описываются форматы текстовой информации, широко используемые в Интернет. Имеется большое количество упражнений с ответами на них. Уч. пособие / Российский государственный технологический университет им. К.Э. Циолковского. 2002.
 
Начальная страница  » 
А Б В Г Д Е Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ы Э Ю Я
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
0 1 2 3 4 5 6 7 8 9 Home