Энтропия по определению - это функция состояния термодинамической системы, такая, что для всякого бесконечно малого равновесного теплообмена её (энтропии, то бишь) изменение равно dS=dQ/T. Всё :)
Сложно и непонятно? К сожалению, на сегодняшний день общепринятого словесного, легкодоступного для неспециалистов определения нет. Хуже того, по Сети гуляет немыслимое количество ошибочных определений этой важной величины. Энтропия к беспорядку/хаосу не имеет никакого отношения от слова "совсем". Это заблуждение пошло от работ Сцилларда и Бриллюэна, когда проводили сомнительные мысленные эксперименты и пытались отождествить энтропию термодинамическую и информационную. Разумеется, такое примитивное приравнивание провалилось, ибо, как известно, по информационной энтропии температуру не определишь. В то время как по термодинамической - без особых проблем.
Итак, просто запомните, что dS=dQ/T, откуда S получаем обыкновенным интегрированием с точностью до константы. И не надо плодить сущностей и делать ложных выводов из заведомо ошибочных предпосылок.
В первую очередь необходимо дать недвусмысленное определение термина "беспорядок" и привести величину, характеризующую его численно. И это не энтропия...
К замкнутой системе энергию подвести нельзя по определению; энтропия может уменьшаться и у неживых систем.
как известно, по информационной энтропии температуру не определишь
А как же принцип Ландауэра? Кроме того, температура сама по себе - статистический параметр, по сути сводящийся к средней кинетической энергии молекул. А связь энергии и информационной энтропии показана экспериментально.
Принцип Ландауэра показывает, что необратимая перестройка структуры повышает температуру системы и, соответственно, передачу теплоты в окружающую среду. Да, при этом растёт термодинамическая энтропия, которая вообще растёт при любых реальных=необратимых процессах... Аналогично, если движущийся поток затормозить, то его температура и энтропия вырастут.
Проблема информационной энтропии в том, что это нефизическая величина, поскольку бит - нефизическая величина. Бит не определяют через общеизвестный ряд СИ (метр, килограмм, секунда, градус, моль, ампер, кельвин, радиан и стерадиан). В то время как термодинамическая энтропия измеряется в [Дж/К], а чтобы её вычислить, нам, как правило, требуется знать теплоёмкость тела. А какая может быть теплоёмкость у сообщения?.. Не у сигнала как физического процесса, а у сообщения как такового.
При этом наверняка у термодинамической и информационной энтропий есть глубокая связь. Но она не столь прямолинейная, как простое тождество. Если же кому-то удалось, получив значение информационной энтропии, определить соответствующие ей температуру фазового перехода, внутреннюю энергию, энтальпию, давление, удельный объём, то было бы крайне(!) любопытно с этими вычислениями и измерениями ознакомиться.
Отвечу сугубо в психологическом аспекте.
Как подчёркивают современные специалисты в области интегральной психологии, эффективность общения между двумя людьми определяется тем, насколько им удалось исключить из своего общения "третьего".
Этот "третий" - это косность, нетерпимость, предубеждённость, стереотипность мышления.
Этот "третий" - и есть энтропия, с точки зрения психолога.
А почему сжиматься начнет?
По-простому? Это мера беспорядочности, бесструктурности. Величина, обратная информации, которая может рассматриваться как раз как мера упорядоченности.
"Пока не придёт Мама" - страшно звучит))
Если совсем по-простому, то это мера хаоса некой системы. Вводя такую меру, мы можем сравнивать упорядоченность. Простейший пример - если в шахматы будут играть обезьяны, не понимая что они делают, энтропия доски будет существенно выше, чем в случае, когда играют двое гроссмейстеров.