Аннотация: Теория информации, в нынешнем ее виде, занимается "дохлой кошкой", а не Информацией. Подсчет битов также занимателен, как подсчет числа кошачьих усов и имеет также мало отношения к реальной проблеме
В плохих соседствах встречается, что через забор к недругу перекидывают дохлую кошку. Смысл послания вполне очевиден. Порода и масть кошки значения при этом не имеют. Странным образом, то, что сегодня понимается под "теорией информации" занимается не смыслом посланий, а криминалистическим анализом дохлой кошки.
Начало было положено в 1928 году Ральфом Хартли, предложившим оценивать информацию сообщения, как техническую характеристику, логарифмом числа выборов (комбинаторный подход). Конечностей у кошки пять, следовательно и информация - логарифм пяти. Критики пытались сыграть на несущественном - лапы, дескать, не хвост, но Хартли отмел эти возражения как "психологический фактор".
Через двадцать лет интенсивных исследований, вызванных к жизни второй мировой войной, Клод Шеннон сделал важное наблюдение (опубликованное в 1948): лап у кошки четыре, а хвост только один и, таким образом, хвост вчетверо более значимый фактор, чем лапы (вероятностный подход).
Это позволило значительно улучшить оценку Хартли и на протяжении почти двадцати лет формула Шеннона оставалась единственным методом вычисления "количества информации".
В 1965 году Андреем Колмогоровым был предложен новый революционный подход, названный им алгоритмическим - оценка сложности кошки наименьшей длиной ДНК, порождающей данную кошку. Как найти эту длину никому не известно, что, конечно же, не могло предотвратить бум исследований в данной области.
К сожалению, все три известных на сегодня метода, сводящиеся к тщательному изучению дохлой кошки, совершенно бесполезны для ответа на главный вопрос: какой смысл несет в себе данное сообщение.
Были, разумеется, предложены и уточняющие оценки - с поправкой на "семантику", "полезность" итп. Все они, в итоге, сводятся к подсчету числа усов у кошки или других, столь же значимых признаков.
Теория информации, в нынешнем ее виде, занимается "дохлой кошкой", а не Информацией. Подсчет битов также занимателен, как подсчет числа кошачьих усов и имеет также мало отношения к реальной проблеме.