Как называется наименьшая единица информации?

Я бы высказался за версию, что наименьшей единицы информации не существует. По той же причине, почему не существует наименьшей длины (по крайней мере в математике).

Часто можно услышать, что бит — это наименьшая единица. Дескать, она обозначает одно из двух состояний 0 или 1, куда уж меньше. Однако, количество информации — это разность априорной и апостериорной энтропий. Если у вас существуют два равновероятных исхода (0 и 1), каждый с вероятностью 50%, то да, чтобы зашифровать полезный сигнал от полученной информации, вам нужен 1 бит. Это соответствует единичной энтропии.

Но давайте представим, что мы имеем неопределённость исхода, в котором 1 выпадает с вероятностью p_1 = 99,9999999%, а 0 с вероятностью p_0 = 0,0000001%. Новая информация о таком событии уже не такая ценная, вряд ли вы много полезного узнаете, когда действительно выясните, какой исход будет в итоге. Тем не менее, можно количество информации измерить через энтропию

H = - (p_1 \log_2 p_1 + p_0 \log_2 p_0) ≈ 0.000000031340 бит ≈ 33.65 нанобит

Таким образом, информацию легко можно измерить в миллибитах, микробитах, нанобитах или любых других более мелких единицах. По аналогии с тем, что 1024 бита — это килобит, считаем, что один бит содержит 1024 миллибита, 1 миллибит = 1024 микробитов, а 1 микробит = 1024 нанобитов