Клод Элвуд Шеннон - один из величайших ученых-инженеров в истории человечества, один из тех, благодаря кому словосочетания "технические науки" и "прикладная математика" произносят с пренебрежением только безграмотные, невежественные люди. Теория информации Шеннона лишь один из вариантов построения теории информации у которого как и у всякого другого есть достоинства и недостатки, однако без этой теории современные системы передачи, обработки и хранения информации были бы невозможны. В основе теории Шеннона лежит понятие о неопределенности и энтропии (по Шеннону) как ее количественной мере. Соответственно извлечение информации определяется (абсолютно логично) как уменьшение неопределенности и может быть количественно оценено через уменьшение энтропии (на самом деле взаимной энтропии между двумя ансамблями). Эта простая с виду идея, позволила Шеннону и его последователям сформулировать теоремы, которые легли в основу кодирования источников (важного прежде всего для сжатия информации), теории помехоустойчивого кодирования, криптографии и машинного перевода. Проще говоря, абсолютно все системы связи и хранения данных, которые вы используете от мобильных телефонов и файловых хранилищ до банковских переводов и дополненной реальности основаны на идеях Шеннона и его коллег-современников (Хэмминга, Фано, Элайеса, Галлагера, Колмогорова, Добрушина, Пинскера и многих других)