Клод Шеннон (1916 -- 2001) – американский инженер и математик, основавший теорию информации – целую ветвь математики с широкими приложениями в современном мире.
Он получил инженерное образование в Мичиганском университете, работал в знаменитом Массачусетском технологическом институте. Показал, что все логические операции ( И, ИЛИ, отрицание …) можно реализовать в электрических цепях – это одно из оснований вычислительной техники.
С 1941 года Шеннон работает в знаменитой компании Bell Labs на комитет обороны; в частности, занимается криптографией. Эта работа и подтолкнула его к созданию теории информации.
В 1948 году Шеннон опубликовал статью «Математическая теория коммуникации» в техническом журнале Bell System . Он предложил математическую модель системы коммуникации – системы связи.
(рисунок из оригинальной статьи Шеннона)
Шеннон подробно рассмотрел передачу сообщения как передачу последовательности отдельных символов. Нам сейчас кажется естественным, что любую информацию (текст, картинку, музыку), можно передавать дискретно, как последовательность 0 и 1. Но тогда это было непривычно, это было время радио, и для передачи информации естественно было использовать электромагнитные волны.
Шеннон выделил сигнал, который может принимать два значения (0 или 1, да-нет, вкл.-выкл.). Он несет самое маленькое количество информации, это количество Шеннон обозначил словом бит. Можно сказать, Шеннон сделал информацию измеримой. Он ввел понятие энтропии как меры неопределенности в сообщениях и использовал в своей работе теорию вероятностей и случайные процессы.
Шеннон стал первопроходцем, проложившим путь к новой земле на карте математики. За его небольшой статьей последовало множество других работ, и теоретических, и прикладных.
«Теория информации и кодирования» М.Я.Кельберта и Ю.М.Сухова – прекрасное введение в предмет на университетском уровне, с огромным количеством примеров. Я приведу несколько цитат по этой книге:
Шеннон был эксцентричным, и в интернете найдется много рассказов об этом. Вот малоизвестная история.
В 1963 г. Шеннон получил три копии 830-страничных переводов его научных работ на русский язык. В 1964 г. во время его визита в Россию ему сообщили о том, что авторский гонорар его книги составил несколько тысяч рублей, которые обменивались на примерно такое же количество долларов. К сожалению, там была ловушка — деньги нельзя было вывезти из страны, их нужно было тратить в России. Любопытно, что ничего из того, что Шеннон мог бы купить, не казалось ему подходящим. Книги были на русском языке, у его жены Бетти уже была шуба, мебель трудно было транспортировать. Они наконец остановились на восьми музыкальных инструментах, начиная от фагота и заканчивая балалайкой. На обратном пути Шеннонов многие принимали за путешествующий оркестр.