Инфо-космо-логия
Автор: Киви Берд
Опубликовано в журнале "Компьютерра" №20 Страница 4 из 4. Вернуться на первую страницу. Две энтропииОфициальное рождение теории информации как научной дисциплины принято отсчитывать от основополагающей работы американского математика-прикладника Клода Шеннона «Математическая теория связи» (1948). Именно он ввел в обиход и двоичную единицу информации, впоследствии окрещенную «бит» (binary digit), и широко используемую сегодня меру количества информации под названием «энтропия». Позаимствовать термин из термодинамики посоветовал Шеннону знаменитый математик Джон фон Нейман (John von Neumann). Полушутя фон Нейман обосновал свой совет тем, что в среде математиков и инженеров мало кто знает об энтропии, а посему Шеннон получит огромное преимущество в неизбежных спорах о новой теории. До этого энтропия в течение долгого времени была центральной концепцией термодинамики. Нестрого выражаясь, энтропия здесь описывается как мера неупорядоченности физической системы. В 1870-е годы австрийский физик Людвиг Больцман охарактеризовал ее более точно и строго в терминах количества различных микроскопических состояний молекул (гипотетических в ту пору частиц). Рассматривая газ как скопление снующих во все стороны молекул, Больцман применил статистические умозаключения и аналитически — подсчитывая все способы распределения и движения молекул в объеме — вывел законы термодинамики, прежде установленные из чисто эмпирических соображений. Чем, надо сказать, немало способствовал всеобщему принятию наукой идеи молекулярного строения вещества. Есть, конечно, между этими энтропиями и различия. Одно из важнейших — разница порядков величины. Кремниевый микрочип, содержащий гигабайт данных, к примеру, имеет шенноновскую энтропию порядка 1010 бит. Это несоизмеримо меньше, чем термодинамическая энтропия чипа, которая при комнатной температуре равна примерно 1023 бит. Столь гигантское отличие обусловлено тем, что энтропии вычисляются для разного количества степеней свободы. Степень свободы — это любая количественная характеристика, которая может изменяться: координата, задающая местоположение частицы, или, скажем, один из компонентов ее скорости. Шенноновская энтропия чипа учитывает лишь общее состояние транзистора в кристалле — включен он или выключен, то есть в состоянии 0 или 1. Это единственная двоичная степень свободы логического элемента. Термодинамическая же энтропия, напротив, зависит от состояния всех миллиардов атомов (а также рыскающих между ними электронов), которые составляют каждый транзистор. По мере того, как технологии миниатюризации все больше приближают время, когда каждый атом будет способен хранить для нас один бит информации, полезная шенноновская энтропия чипов будет все ближе подходить к порядкам термодинамической энтропии их материала. Ну а когда эти две энтропии вычисляются для одного и того же количества степеней свободы, то они просто равны.
|