Демон Сциларда: Информация как физическая величина?

Информация из заметки использована в главах 2.5 ‘Демон Максвелла и информация‘ и 3.5 ‘Критика термодинамики информации‘ книги ‘Осмысление энтропии в свете свечи‘

___

Е. Б. Рудный, Демон Сциларда: Информация как физическая величина? 2025, PREPRINTS.RU. doi:10.24108/preprints-3114062

Evgenii Rudnyi, Szilard’s Demon: Information as a Physical Quantity? 2025, preprint, doi:10.20944/preprints202512.1224.v1

___

Аннотация. Рассмотрен исторический контекст возникновения мыс­лен­ного экспери­мента Сциларда: демон Максвелла, броуновское движение и работы Смолу­ховского. Описано проникновение идей на базе теории Шеннона о связи инфор­мации и энтропии в статистическую механику и последующее рассмотрение мыслен­ного эксперимента Сциларда в работах Бриллюэна, Беннета (принцип Ландауэра) и Зурека. Вторая часть статьи посвящена критике термодинамики инфор­мации. Аргу­мен­ты Эрмана и Нортона расширены путем включения в обсуждение уровней органи­зации. Также обсуждена проблема координации в отношении информации.

Ключевые слова: демон Максвелла, мысленный эксперимент Сциларда, обратимые вычисления, термодинамика информации

• Введение
• История появления термодинамики информации
  • Демон Максвелла и броуновское движение
  • Смолуховский: натурализация демона Максвелла
  • Демон Сциларда
  • Путь информации от теории Шеннона к статистической механике
  • Бриллюэн, Ландауэр и термодинамика вычислений
• Критика термодинамики информации
  • Что доказывает рассмотрение демона Сциларда?
  • Принцип Ландауэра, обратимые вычисления и флуктуации
  • Неадекватность мысленного эксперимента Сциларда
  • Информация и физическое как уровни организации
• Обсуждение
• Список литературы

Введение

Leo Szilard правильно произносится как Лео Силард, но я по привычке буду использовать транскрипцию Сцилард; именно так стоит во многих учебниках. Сцилард известен мыслен­ным экспериментом, который сыграл большую роль в попытках физиков во второй половине 20-ого века связать информацию и вычисления с физическими процессами. Устройство, пред­ло­женное Сцилардом, можно назвать информационным демоном Максвелла и в этой статье оно будет именоваться демоном Сциларда. Выра­жение для информационной энтропии в теории информации Шеннона оказалось аналоги­чным для термодинамической энтропии в статистической механике. Демон Сциларда давал дополнительный повод для утверждения об эквивалентности информа­ци­онной и термодинамической энтропии; тем самым информация как бы переводилась на уровень физической величины.

Нельзя не отметить роль идеи Сциларда как источника вдохновения для ряда поколений физиков. Более того, эти идеи сыграли определенную роль в постановке экспериментов с броуновскими частицами в 21-м веке [1]. В то же время формализм стохастической термодина­мики, созданный для описания этих экспериментов, существенно отличается от предыдущих попыток обсуждения демона Сциларда. При этом есть хорошие аргументы Эрмана и Нортона [2, 3] против использования демона Сциларда для рассмотрения инфор­мации как физической величины. В этой статье они расширены путем включения в обсуж­дение уровней организации. Утверждение, что для передачи информации и для выполнения вычис­лений необходимо физическое устройство, тривиально. Тем не менее, остается откры­тым вопрос, можно ли совместить информационный уровень организации с физическим.

В первой части статьи рассмотрен исторический контекст возникновения мыс­лен­ного эксперимента Сциларда и его обсуждение во второй половине 20-го века. Вторая часть статьи посвящена критическому анализу этих идей.

История появления термодинамики информации

Демон Максвелла и броуновское движение

Максвелл в 1867 году в письме Питеру Тэйту описал устройство, содержащее вымышленное крошечное существо, которое позднее Уильям Томсон (Кельвин) окрестил демоном [4]. Целью Максвелла являлось доказательство невозможности обоснования второго закона на уровне законов механики. Максвелл выразил это обстоятельство в явной форме в письме Джону Стретту (лорду Рэлею) в 1870 году, в котором Максвелл подчеркнул симметрию законов механики во времени. Таким образом, при выполнении закона сохране­ния энергии вполне возможен перенос теплоты от холодного тела к горячему путем обращения времени в законах механики. Мысленный экспери­мент с демоном делал этот аргумент более наглядным.

В публичном изложении демон Максвелла появился в 1871 году в книге ‘Теория теплоты‘. Статистическое обоснование Людвига Больцмана второго закона в 1877 году подтвердило правоту Максвелла. При этом в 19-ом веке вопрос борьбы с демоном Максвелла не поднимался — второй закон имеет статистическую природу, поэтому с необходимостью есть вероятность его нарушения.

Ситуация с демоном Максвелла поменялась в ходе изучения броуновского движения. После появления теории, разработанной Эйнштейном, Смолухов­ским и Ланжевеном, были проведены эксперименты, которые подтвердили наличие флуктуаций. По ходу изучения броуновского движения появились голоса о возмож­ности вечного двигателя второго рода на основе флуктуаций. Приведу цитату из книги Гельфера [5]:

‘относительно формулировки Томсона («вечный двигатель второго рода невозможен») возникли дебаты. Некоторые физики, такие как Липпман, Сведберг, Оствальд, полагали, что флуктуационные явления позволяют, по крайней мере принципиально, поставить вопрос об осуществлении вечного двигателя второго рода. Казалось, что максвел­ловская идея о «демонах», сортирующих молекулы по скоростям, находит теоретичес­кое обоснование в броуновском движении. В свое время еще Гуи высказал мысль, что если бы удалось каким-либо способом упорядочить броуновское движение, то это открыло бы возможность получения даровой энергии. Если французский физик высказал эту мысль как гипотетическое предположение, то Оствальд в 1906 г. прямо говорит о возможности опровержения второго начала:

«Представляется нам, что «демоны» Максвелла, которых в молекулярной области можно было бы считать безвредными, здесь, в конечной области видимых явлений, имеют открытое поле для экспериментального опровержения второго начала».

Были даже предложены конкретные схемы осуществления вечного двигателя второго рода, большинство которых основывалось на том или ином варианте максвелловских «демонов».’

Смолуховский: натурализация демона Максвелла

Рассмотрим позицию Мариана Смолуховского, названия статей которого выглядят вызывающе: ‘Доступные наблюдению молекулярные явления, противоречащие обычной термодинамике‘ (1912), ‘Границы справедливости второго начала термодинамики‘ (1914) [2].

В классической термодинамике, строго говоря, флуктуации невозможны и таким образом броуновское движение и флуктуации противоречат второму закону термодинамики. Однако, после констатации этого факта Смолуховский проводит натурализацию демона Максвелла [2]. Демон объявляется устройством, которое подчиняется законам физики и на которое распространяется наличие флуктуаций. В этих рамках Смолуховский показывает проблема­тичность предложенных вечных двигателей второго рода — наличие флуктуаций в демоне Максвелла делает невозможным продолжительную работу этих двигателей. Для сохранения второго закона требуется только несколько изменить формулировку [2]:

‘Нельзя осуществить никакого автоматического приспособления, которое продолжи­тельное время производило бы полезную работу за счет теплоты более низкой температуры.’

Единственную возможность создания вечного двигателя второго рода Смолуховский связывает с чистым интеллектом (из статьи 1914 года [6]):

‘Таким образом, perpeluum mobile возможен, если в качестве некоторого рода deus ex machina понимают человека, экспериментирующего в соответствии с обычными методами физики, который, опираясь на непрерывное точное исследование мгновен­ного состояния природы, может в любой момент привести в ход или прервать макроскопические процессы без совершения работы. Так что вовсе нет нужды в том, чтобы он обладал способностью максвелловского демона, который задерживает отдель­ные молекулы, но все же в упомянутых выше пунктах совершенно отличается от действительно живого существа. Потому что выполнение какого-либо физического процесса в результате деятельности как сенсорной, так и двигательной нервной систе­мы, всегда связано с обесцениванием энергии, не говоря уже о том, что и самое суще­ство­вание живого связано с непрерывным рассеянием энергии.’

В следующем параграфе Смолуховский подвергает сказанное сомнению:

‘Итак, если учесть эти обстоятельства, то представляется очень сомнительным, что реальные живые существа могут длительно, или по крайней мере регулярно, производить работу за счет теплоты тела более низкой температуры. Правда, наше незнание жизненных процессов не позволяет дать определенный ответ.’

Но затем последующий параграф начинается с утверждения: ‘Затронутые в конце вопросы уже выходят за рамки собственно физики.’ Отмечу, что решение Смолуховского было успешным. Вечный двигатель второго рода, работающий продолжительное время, так и не был создан. Приведу цитату из книги 2005 года с выразительным названием ‘Вызовы второму началу термодинамики‘ [7]; в ней разбирается много предложений о вечном двигателе второго рода:

‘В этой книге мы постараемся внести ясность в этот вопрос; хотя второй закон потенциально может быть нарушен, на практике он не нарушался.’

Демон Сциларда

В 1925 году Сцилард написал статью, посвященную созданию феноменологической теории флуктуаций [2]. Описание развития этих идей Сциларда можно найти в книге Ю. Г. Рудого, ‘Математическая структура равновесной термодинамики и статистической механики‘ [8]. Предполагаемые устройства, рассматриваемые в работах Смолуховского и попадающие под действие формализма флуктуаций Сциларда, можно назвать механическими демонами. В них отсутствовала информационная часть и тем самым оставалась неисследо­ван­ной возможность корреляций между флуктуациями в демоне и в управляемой им системе.

По всей видимости это обстоятельство послужило толчком к статье 1929 года ‘Об уменьшении энтропии в термодинамической системе в результате вмешательства разумных существ‘ [2]. В ней Сцилард рассмотрел мысленный эксперимент, повлиявший на развитие физики во второй половине 20-ого века. Сцилард уменьшил рассматриваемую систему до одной молекулы и ввел в рассмотрение существо, которое после обнаружения нахождения молекулы в левой или правой части объема использует эту информацию для получения полезной работы. В ходе одного цикла управляемой подсистемы происходит превращение теплоты в работу и уменьшение энтропии подсистемы. Тем самым обыгры­валась возможность использования информации о флуктуации для получения работы.

Механический демон превращается в информационный — измерение, переработка информации, действие; демон Максвелла становится демоном Сциларда. Рассмотрение Сциларда предполагало, что второй закон термодинамики в ходе такого процесса не нарушается за счет увеличения энтропии при проведении демоном измерения о положении молекулы. Тем самым термодинамическая энтропия связывалась с процессом получения инфор­мации о подсистеме в ходе измерения.

Путь информации от теории Шеннона к статистической механике

Теория информация Шеннона предназначалась для решения задачи эффективной передачи текста, состоящего из последовательности символов заданного алфавита, по каналу связи с шумом. Подразумевается, что текст содержит информацию, но количество инфор­мации сопостав­ляется не с содержанием, а с длинной текста. Символ алфавита кодируется в двоичной системе счисления и таким образом появляется бит — единица измерения информации.

Информационная энтропия сыграла большую роль в решении задач телекоммуникации — выбор наиболее эффективного кодирования символа, создание помехоустойчивых кодов, а также сжатие текста для более эффективного хранения и передачи. В этой связи можно также отметить неоднозначность связи между информационной энтропией и количеством информации. С одной стороны, энтропия связывается с незнанием (чем больше энтропия, тем меньше информации), с другой — при сжатии файлов максимальное количество инфор­мации в архиве достигается при стремлении к максимальной энтропии. Хорошее введение в теорию информации Шеннона содержится в статье ‘Много сторон информации Шеннона‘ [9], где раздел ‘О концепции информации Шеннона‘ прекрасно передает содержа­ние теории Шеннона.

Выражение для информационной энтропии Шеннона похоже на статистическую энтро­пию Гиббса и многие физики решили, что это обстоятельство указывает на тождественность термодинамической и информационной энтропии (см. продолжение статьи [9] после раздела ‘О концепции информации Шеннона‘). Три человека сыграли большую роль в распро­странении идей о связи энтропии и информации (см. диссертацию Анта [10]): Норберт Винер, Джон фон Нейман и Уоррен Уивер.

В 1948 году во влиятельной книге ‘Кибернетика‘ Винер соединил концепции информации и энтропии. Кибернетический агент использовал полученную информацию для предсказания поведения системы, которое в свою очередь связывалось с порядком или беспорядком; предсказание поведения упорядоченной системы было более легким делом. Далее Винер отталкивался от ‘отрицательной энтропии’ Шрёдингера в книге ‘Что такое жизнь‘, а также от рассуждений химика Гильберта Льюиса (Gilbert Lewis). Гильберт еще в 1930 году утвер­ждал: ‘Увеличение энтропии всегда означает потерю информации, и ничего больше.’

Таким образом Винер ввел связь между информацией, которой обладает киберне­тический агент, и энтропией системы, которой агент управляет:

‘Понятие количества информации очень естественно соотносится с классическим понятием статистической механики — энтропией. Точно так же, как количество информации в системе является мерой ее степени организованности, так и энтропия системы является мерой ее степени дезорганизации; и одно является просто отрицательным значением другого (…) Мы сказали, что количество информации, являющееся отрицательным логарифмом величины, которую мы можем рассматривать как вероятность, по сути, является отрицательной энтропией.’

Джон фон Нейман в 1932 году в книге ‘Математические основы квантовой механики‘ обсуждал решение, предложенное Лео Сцилардом при рассмотрении демона Максвелла. Фон Нейман считал, что такое решение позволяет объединить вместе физическое состояние системы и эпистемическое состояние агента. Возможно, что таким путем фон Нейман надеялся найти интерпретацию измерения в квантовой механике. Джон фон Нейман после появления работ Шеннона и Винера активно пропагандировал возможность сочетания формаль­ной логики и статистической механики путем использования связи между информа­цией и энтропией. Авторитет фон Неймана в научных кругах способствовал распростра­нению этой идеи.

Уоррен Уивер (Warren Weaver) работал вместе в Шенноном, но Уивер в отличие от Шеннона поставил задачей популяризацию теории информации Шеннона в виде, доступном для просвещенной публики. На этом пути он распространил значение информации в теории Шеннона до семантической и прагматической, а также связал информационную энтропию с термодинамической. Административные ресурсы Уивера обеспечили успех его предприятию.

Бриллюэн, Ландауэр и термодинамика вычислений

Первым физиком, кто довел до конца объединение теории информации Шеннона и статистической механики, был Леон Бриллюэн (Lеon Brillouin, 1889-1969). В серии статей с 1951 года он провел анализ информационных демонов Максвелла, включая мысленный экспери­мент Сциларда [3, 10], а в 1956 году вышла книга ‘Наука и теория информации‘ [11].

Бриллюэн посчитал, что лучшим выражением деградации энергии будет служить отрица­тельное значение энтропии, которое он назвал негэнтропией. В то же время формально негэнтропия определена как отрицательное значение энтропии:

‘Негэнтропия (N = ‐S) представляет качество энергии и она должна всегда убывать.’

Далее Бриллюэн вводит негэнтропийный принцип информации. Он приравнивает изменение информации изменению числа состояний в уравнении Больцмана. Отсюда делается вывод:

‘связанная информация = убыванию энтропии S = увеличению негэнтропии N’

Формально рассмотрение Бриллюэна касались только изменения энтропии, однако у него изменение энтропии иногда называ­лось изменением негэнтропии, а иногда полученной информацией. Бриллюэн использовал негэнтропийный принцип информации для демон­страции роли измерений в демоне Сциларда. Бриллюэн посчитал, что умень­шение энтропии управляемой системы в ходе работы демона компенсируется увеличением энтропии общей системы, включая демона, в процессе измерения. Статьи и книга Бриллюэна в ходе последующего обсуждения привели к достижению консенсуса среди физиков на пару десятилетий. Получение новой информации при проведении измерений связано с измене­нием термодинамической энтропии и это считалось решением при рассмотрении демона Сциларда.

Параллельно велось обсуждение минимальных затрат, связанных с вычислениями [3, 10]. После завершения некоторых логических операций при вычислении невозможно вернуться в исходное состояние — такие логические операции назывались необратимыми. Рольф Ландауэр в 1961 году связал логическую необратимость с физической и проанали­зировал операцию записи одного бита в память. В этом процессе не происходит проверка состояния памяти, поскольку это потребовало бы дополнительных затрат. Тем самым операция записи бита является необратимой, поскольку после нее предыдущее содержание становится неизвестным. В результате Ландауэр предложил принцип, что такая операция обязана сопровождаться выделением минимального количества теплоты, связанного с изменением термодинамической энтропии.

В дальнейшем Чарльз Беннет [3, 10] (Charles Bennett, также транскрипция Беннетт) и другие показали возможность обратимых вычислений при использовании только обратимых логических операций. В обратимых вычислениях запись бита в память осталась единствен­ной логической необратимой операцией. В результате Беннет в начале 1980-х годов предложил новый анализ демона Сциларда; Беннет пришел к выводу, что измерение можно провести без изменения энтропии, а необходимое увеличение энтропии он связал с исполь­зова­нием памяти. Согласно Беннету демон должен был бы записать результат измерения в память, а в конце цикла для возвращения в исходное состояние потребовалось бы инициали­зация ячейки памяти. Новая интерпретация демона Сциларда победила, хотя потребовалось дополнительное обсуждение вопроса, почему предыдущее поколение физиков во главе с Бриллюэном совершило ошибку.

В конце 1980-х годов Войцех Зурек сделал заключительный аккорд в этой истории. Зурек сказал, что баланс энтропии по Беннету устанавливается только в конце процесса; поэтому Зурек указал на необходимость расширения анализа Беннета путем включения в него алгоритмической энтропии. Предполагалось, что демон Сциларда при выполнении задачи использует определенный алгоритм, основанный на обратимых вычислениях. Включение в анализ алгоритмической энтропии позволило утверждать, что баланс по энтропии поддер­живается постоянным в ходе всего процесса.

Критика термодинамики информации

Начну с более точной формулировки рассматриваемой проблемы. Если у Сциларда устройство демона оставалось открытым вопросом, то в дальнейшем демон считался кибернетическим устройством (измерение, переработка информации, действие), которое рассматривалось как физическое. В этом смысл программы термодинамики информации — найти место для информации среди физических величин.

Для простоты будем считаться, что демон Сциларда представляет из себя механическую систему. В качестве примера обратимых вычислений нередко приводят бильярдный компьютер Фредкина-Тоффоли (баллистические обратимые вычисления), поэтому представ­ление о механическом демоне вполне укладывается в стиль рассмотрения обратимых вычислений.

Таким образом, на уровне статистической механики демона и управляемую им систему можно рассмотреть в виде единого гамильтониана, динамика которого включает в себя как переработку информации и вычисления внутри демона, так и управляемую демоном систему. Вся система является изолированной, а цель рассмотрения связана со вторым законом — энтропия изолированной системы не может уменьшаться или вечный двигатель второго рода невозможен.

Что доказывает рассмотрение демона Сциларда?

Демон Максвелла возник в 19-ом веке в молекулярно-кинетической теории при обос­новании второго закона в рамках симметричных по времени законов механики. Максвелл хотел показать, что такая задача на строгом математическом уровне невозможна. Ответ связан со статистической интерпретацией второго закона, которая не запрещает существо­вание демона Максвелла. Слабая формулировка невозможности двигателя второго рода Смолуховского отражает статистическую интерпретацию. Таким образом, возникает вопрос, что нового по сравнению с выводом Смолуховского появляется в анализе демона Сциларда в термодинамике информации [3].

В информационном анализе демона Сциларда второй закон рассматривается как исход­ный постулат, при этом считается, что второй закон должен выполняться в одном цикле двигателя. Вместо слабой формулировки Смолуховского используется сильная формулировка из классической термодинамики; в противном случае невозможно получить равенство между информационной и термодинамической энтропией. Второй закон считается верным априори, а последующий анализ сводится к эвристическому поиску недостающей части в балансе энтропии. Открытым остается вопрос, можно ли такое рассмотрение назвать доказательством невозможности существования демона Максвелла [3].

В анализе Бриллюэна внутренняя структура демона игнорируется, а недостающая часть в балансе энтропии связывается с взаимодействием демона и управляемой системы; это взаимодействие отождествляется с проводимым измерением. Далее энтропия разбивается на две части и постулируется, что увеличение в одной части компенсируется уменьшением другой; обоснование сводится к отождествлению уменьшения энтропии с увеличением знания о системе. Такой вывод является следствием априорной веры в правильности второго закона в сильной формулировке классической термодинамики.

Введение принципа Ландауэра в целом улучшает структуру анализа, поскольку как минимум вводится независимый принцип, связанный с необходимостью диссипации энергии и тем самым повышением энтропии. Тем не менее, логика рассмотрения остается без изменений. Верность второго закона в сильной формулировке принимается без обсуждения, а отличие с рассмотрением Бриллюэна сводится к обсуждения возможности ситуации, когда все процессы в демоне, а также взаимодействие демона с управляемым устройством прохо­дят без диссипации (без увеличения энтропии). Таким образом, в конце концов необходимое возрастание энтропии связывается только с процессами в ячейке памяти демона.

Возникает дополнительный вопрос. Что на уровне статистической механики определяет динамику подсистемы, связанной с демоном Сциларда? В качестве возможного ответа в рассмотрении Беннета есть две возможности — есть законы физики, а есть вычислительный алгоритм, который должен выполняться в ходе движения частиц демона Сциларда. Вопрос разделения ответственности между ними рассмотрен в последующих разделах.

Принцип Ландауэра, обратимые вычисления и флуктуации

При рассмотрении принципа Ландауэра и обратимых вычислений требуется обратить внимание на два разных значения термина обратимый. С одной стороны, под этим понимаются законы механики, которые симметричны во времени. В механических устройствах типа бильярдного компьютера Фредкина-Тоффоли это значение используется при представлении идеального механического механизма без трения. Законы механики без трения содержат время в явном виде, поэтому эта концептуальная модель содержит движение во времени.

С другой стороны, в классической термодинамике вводятся обратимые процессы при рассмотрении цикла Карно. Они предусматривают возможность превращения теплоты в работу без диссипации, то есть, без увеличения энтропии. В обратимых процессах класси­ческой термодинамики время в явном виде отсутствует — движение в идеальном цикле Карно осуществляется силой мысли — см. обсуждение в [12].

Вернемся к рассмотрению в статистической механике совместной системы — демон Сциларда плюс управляемое им устройство. Исходные законы механики симметричны во времени — движение молекул происходит без трения и без диссипации энергии на уровне отдельных частиц. В то же время совместное движение всех частиц приводит к диссипации энергии и тем самым к возрастанию энтропии (статистическая интерпретация энтропии). Поэтому важно проследить в каком значении используется термин обратимый в ходе анализа демона Сциларда.

Обсуждение миниатюризация вычислений, которое привело к принципу Ландауэра, неявно предполагает, что мы выходим на уровень движения частиц, подчиняющихся законам механики, симметричным во времени. Поэтому требуется более точно сказать, каким образом принцип Ландауэра предполагает возникновение диссипации энергии.

Невозможно утверждать, что в принципе Ландауэра частицы перестают подчиняться законам механики. Поэтому следует предположить, что принцип Ландауэра опирается на статистическую трактовку второго закона. В свою очередь переход к статистической трактовке второго закона поднимает вопрос о флуктуациях — именно изучение флуктуаций при рассмотрении броуновского движения было толчком для серьезного рассмотрения демона Максвелла. В то же время при анализе демона Сциларда в рамках обратимых вычис­лений и принципа Ландауэра флуктуации в самом демоне игнорируются.

Особенно важным вопрос флуктуаций является при использовании принципа Ландауэра. Диссипация энергии в виде теплоты с необходимостью связана со статистическим харак­тером второго закона, но введение в рассмотрение флуктуаций в минимальной ячейке памяти (kT ln 2) приведет к ее неработоспособности.

Неадекватность мысленного эксперимента Сциларда

Целью мысленного эксперимента в физике является выделение определенных особенностей физической системы, которые позволяют сформулировать общие выводы за пределами рассмотренной системы. Например, цикл Карно с обратимыми термодинами­ческими процессами следует рассматривать как мысленный эксперимент с целью поиска максимального коэффициента полезного действия тепловой машины. Для этого были исключены все потери и в результате остался только идеальный обратимый процесс использо­вания теплоты для получения работы [12].

Эта идеализация легла в основу формализма классической термодинамики, который в дальнейшем был обобщен на другие процессы — химические, электромагнитные, электро­химические и т.д. Тем не менее, обратимые термодинамические процессы являются идеализацией и их протекание в реальности невозможно. Отсюда следует вывод, что все реальные процессы необратимы и что они с необходимостью сопровождаются диссипацией энергии; энтропия изолированной системы в самопроизвольном процессе возрастает.

Цель демона Сциларда, по всей видимости, заключалась в создании идеализированной модели для изучения информационных процессов. Требовалось продемонстрировать связь между изменением термодинамической энтропии k ln 2 и информационной энтропией, связанной с выбором из двух возможностей log₂ 2. Другими словами, целью мысленного эксперимента являлось демонстрация связи одного бита информации с изменением термо­дина­мической энтропии; тем самым информация превращалась в физическую величину. Рассмотрим, оправдано ли такое ожидание.

В идеализации Сциларда единственная молекула является аналогом огромной флукту­ации в системе, однако возможные флуктуации в корпусе, в поршне и в источнике тепла проигнорированы. Более того, в процесс включены элементы идеализации из обратимого цикла Карно — перемещение перегородки без совершения работы, движение без трения, рассмотрение процесса расширения после флуктуации как обратимого. Отсюда, однако, следует, что оценка количества полезной работы в представленном варианте мысленного эксперимента является завышенной.

В мысленном эксперименте предполагается, что при рассмотрении демона и процесса взаимодействия между демоном и управляемой системой большинство процессов можно выполнить на уровне обратимых термодинамических процессов без диссипации энергии. Тем не менее, вся совместная система (демон плюс управляемый объект) должна была бы рассматри­ваться на уровне статистической механики, поскольку связь между информа­ционной и термодинамической энтропией вводится на этом уровне рассмотрения. Поэтому непонятно, как исходная идеализация согласуется со статистической интерпре­тацией энтропии, которая лежит в основе всего рассмотрения.

Более реалистичный вариант предложенного мысленного эксперимента был бы связан с уменьшением размеров системы. Это потребовало бы рассмотрения всех компонентов системы (сама система, корпус, поршень) на одном уровне рассмотрения. В ходе такого рассмотрения невозможно пренебречь флуктуациями во всех частях, поскольку сама идея связана с использованием флуктуации для совершения полезной работы. Введение обрати­мых термодинамических процессов для отдельных частей общей системы в такой ситуации ничем не оправдано. Именно этот путь использован в современных экспериментах с броуновскими частицами [1] и на этом пути потребовалось создание стохастической термодинамики.

Информация и физическое как уровни организации

Рассмотрим сказанное выше с более общей точки зрения. Во введении уже отмечалось тривиальность утверждения, что для передачи информации и для выполнения вычислений требуется физическое устройство. В программе термодинамики информации однако предпо­ла­гается достичь большего, а именно, считается возможным отождествить информацию или логическую операцию с термодинамической энтропией физической системы или с ее изменением.

Посмотрим на динамику общей системы со стороны статистической механики. Общий гамильтониан соответствует законам физики, отсюда следует, что динамика полностью определяется законами физики. Таким образом, информационные процессы связаны с динамикой, но, строго говоря, они не могут рассматриваться как каузальное объяснение наблюдаемой динамики. Для рассмотрения этого обстоятельство следует взглянуть на постулируемую связь между информацией, вычислениями и энтропией с другой стороны.

Так, мы знаем, что эта часть системы представляет собой минимальную ячейку памяти и поэтому сопоставляем диссипацию энергии величиной в kT ln 2 с записью бита в этой ячейку. Другой пример — мы знаем, что движение шаров в бильярдном компьютере представляет собой вычисление. Поэтому конечное положение шаров трактуется как результат вычислений и оно может быть переведено в соответствующее численное значение. Другими словами, мы имеем динамику физической системы, мы знаем, что эта динамика связана с информацией или логическими операциями и это служит основанием для отождествления термодинамической и информационной энтропии.

Теперь представим себе обратную задачу [13, 14]. Начнем с механических демонов Максвелла, рассмотренных в работах Смолуховского. У них есть своя динамика на уровне статистической механики, но при анализе их работы информационные процессы не привле­ка­ются. Это предполагает какое-то отличие в динамике физических процессов при переходе к информационному демону Сциларда. Таким образом, обратная задача формулируется следующим образом. Наблюдается динамика произвольной системы без знания о наличии в ней возможных информационных процессов. Требуется предложить общую процедуру для распознавания процессов с динамикой, в которой есть информационные процессы и/или вычисления.

Однако такой процедуры не существует [13, 14]. В качестве примера рассмотрим бильярдный компьютер. Можно ли узнать из динамики движения шаров, проводится ли в данный момент вычисление? Проводимое вычисление связано с соглашениями, которые не входят в динамику как таковую, и без знания этих соглашений невозможно корректно интерпре­тировать динамику шаров. В общем случае ситуация становится еще сложнее и в конечном итоге при желании можно при рассмотрении любого физического процесса придумать соглашение, в рамках которых результат будет трактоваться как то или иное вычисление. Более подробное рассмотрение этого вопроса проведено в [13, 14]

Аналогичная проблема происходит при попытке выяснить, есть ли информация в произвольно выбранном состоянии физической системы. Например, можно взять лист чистой бумаги и посмотреть на него через лупу. Будут видны неровности — чем не информация? Таким образом отождествление термодинамической и информационной энтропии связано с дополнительным знанием о физической системе, которое невозможно непосредственно получить из поведения этой системы на уровне законов физики.

Более того, термодинамическая энтропия является свойством вещества, ее значение зависит от внешних параметров, а через производные она связана с другими термодинами­ческими свойствами [15]. Приведу пример с запоминающим устройством Millipede, которое в свое время разрабатывалось IBM — оно хорошо подходит в случае рассмотрения механической системы в статистической механике. В этом устройстве ячейка памяти соответствует дырочке в полимерной пленке (наличие дырочки — единица, отсутствие — нуль).

Рассмотрим термодинамическую энтропию такой полимерной пленки с нанесенной информацией. Изменение термодинамической энтропии связано с перераспределением вещества в процессе образования дырочки и поверхностной энергией. Если пренебречь изменением термодинамической энтропии в объеме пленки в силу деформации (масса пленки остается постоянной), то изменение термодинамической энтропии будет пропорци­онально площади поверхности дырочек.

Таким образом в этом случае нельзя сопоставить термодинамическую энтропию с информационной или алгоритмической, поскольку их значение определяется расположением дырочек, которое никак не учитывается при вычислении термодинамической энтропии. Также термодинамическая энтропия является функцией температуры и давления — их изменение ведет к изменению термодинамической энтропии. В то же время при условии, что в интервале изменений дырочки сохраняются, информационная или алгоритмическая энтропия не меняется.

Обсуждение

При обсуждении миниатюризации вычислительных устройств упускают из виду важное требование, связанное с надежностью работы устройства. На уровне слогана — требование надежности разделяет физическое и информационное как уровни организации. Надежность не относится к физике как таковой; надежность принад­лежит инженерным наукам. Например, минимальная ячейка памяти должна сохранять информацию в течении заданного времени. Это требование в свою очередь предполагает, что в течение этого времени состояние ячейки устойчиво по отношению к флуктуациям; без этого обсуждение минимальной ячейки памяти теряет смысл.

Инженер опирается на законы физики при поиске необходимого решения, но конечное решение представляет собой компромисс, включающий много факторов. Именно это обстоятельство не позволяет рассматривать информацию или логическую операцию в работающем устройстве как физическую величину. В данном случае полезно рассмотреть V-модель разработки современных устройств, в которой хорошо видны разные уровни организации. Попытка связи термодинамической и информационной энтропии с этой точки зрения закончится созданием неработающих устройств.

С другой стороны, термины информация и измерение многозначны. Например, возьмем термодинамические таблицы: ‘Термодинамические свойства индивидуальных веществ‘ [16]. Они содержат информацию о термодинамических свойств веществ, полученную в ходе обработки результа­тов измерений огромного количества экспериментов. Однако, значение терминов информа­ция и измерение в этом случае не совпадает с таковыми при рассмотрении демона Сциларда.

Теория физики записывается в виде математических уравнений. Бас ван Фраассен ввел проблему координации для обсуждения вопроса связи этих уравнений с миром [17]. Для этго вводится рассмотрение двух связанных вопросов: 1) Что можно считать измерением (физической величины) Х? 2) Что такое физическая величина Х? Теория физики отвечает на вопрос, что такое физическая величина, а также теория физики вводит концептуальную модель идеального эксперимента, который служит прототипом для проводятся реальных измерений. Это процедура рассмотрена для температуры в [18], а для энтропии и других термодинамических свойств в [15]. Принцип координации, однако, невозможно перенести на рассмотрение демона Сциларда. Невозможно в этом случае дать ответы на два связанных вопроса, которые лежат в основе проблемы координации: 1) Что можно считать измерением информации; 2) Что такое информация.

В современных экспериментах с броуновскими частицами информация появляется в виде взаимной информации [1]. Подробной разбор этого обстоятельства выходит за рамки этой работы, поскольку он требует рассмотрение формализма стохастической термодинамики. Я только ограничусь замечанием, что введение информации в этой работе связано с рассмотрением контроллера, игравшего роль демона Сциларда в этой работе, на эффектив­ном уровне. Другими словами, описание контроллера в математическом формализме свелось к сигналу, который вырабатывает контроллер на базе наблюдений за броуновской частицей. Остается непонятно, можно ли решить проблему координации для информации введенной в таком виде.

В заключение приведу несколько цитат из последних работ Ландауэра, в которых он от физической природы информации переходит к физическому выполнению законов физики [19]:

‘Наша точка зрения о том, что математика является частью физического мира может разрешить многолетнюю загадку. Существует много ссылок к замечанию Вигнера о «непостижимой эффективности математики.» Этот успех при характеристике физического мира действительно является загадкой, если исходить из того, что математика существовала до и существует вне физической вселенной. Вместо этого математика использует физическую вселенную и является частью физики.’

‘Наши общепринятые законы физики связаны с математикой континуума, которая в свою очередь основана на представлении, что можно достичь любой заданной степени точности при использовании последовательных операций. Однако вряд ли наша реальная вселенная может позволить неограниченную последовательность абсолютно достоверных операций. Размер памяти по всей видимости является ограниченным, поскольку вселенная является ограниченной.’

‘Есть тенденция размышлений о математике как о средстве, которое каким-то образом существовало до и вне физического мира. Математика в свою очередь позволяет выразить законы физики … В настоящей статье мы подчеркиваем, что обработка информации должна проводиться в реальном физическом мире и что законы физики существуют как инструкции по обработке информации в этом реальном мире. Следовательно, не имеет смысла использовать операции в законах физики, которые невозможно исполнить, по крайней мере в принципе, в нашем реальном физическом мире.’

‘Одна возможность связана с фундаментальным источником необратимости и флуктуаций в реальном мире, мире в котором мы наблюдаем отклонение от поведения в соответствие динамикой Гамильтона. Округления в законах физики являются по существу источником шума. … Ограниченная точность может быть кроме того, быть источником наблюдаемого классического поведения, которое так заметно окружает нас.’

Это хороший пример, когда стремление избежать идеализма на одном уровне (информация как физическое) приводит к рассмотрению мира как последовательности вычислений. Это также неплохо показывает, как рассмотрение взаимоот­ношений математики, физики и мира незаметно переходит в область вечных философских проблем.

Список литературы

1. Shoichi Toyabe, Takahiro Sagawa, Masahito Ueda, Eiro Muneyuki, and Masaki Sano. Experimental demonstration of information-to-energy conversion and validation of the generalized Jarzynski equality. Nature physics 6, no. 12 (2010): 988-992.
2. John Earman and John D. Norton. EXORCIST XIV: the wrath of Maxwell’s demon. Part I. From Maxwell to Szilard. Studies In History and Philosophy of Science Part B: Studies In History and Philosophy of Modern Physics 29, no. 4 (1998): 435-471.
3. John Earman and John D. Norton. EXORCIST XIV: the wrath of Maxwell’s demon. Part II. From Szilard to Landauer and Beyond. Studies In History and Philosophy of Science Part B: Studies In History and Philosophy of Modern Physics 30, no. 1 (1999): 1 — 40.
4. Martin J. Klein, Maxwell, His Demon, and the Second Law of Thermodynamics: Maxwell saw the second law as statistical, illustrated this with his demon, but never developed its theory. American scientist 58, no. 1 (1970): 84-97.
5. Я. М. Гельфер, История и методология термодинамики и статистической физики, 2-е изд., 1981.
6. Мариан Смолуховский, Границы справедливости второго начала термодинамики (1914). Успехи физических наук 93, no. 12 (1967): 724-748.
7. Vladislav Capek and Daniel P. Sheehan. Challenges to the second law of thermodynamics, 2005.
8. Ю. Г. Рудой, Математическая структура равновесной термодинамики и статисти­ческой механики, 2013.
9. Olimpia Lombardi and Cristian López. The many faces of Shannon information. In Information and the History of Philosophy, pp. 324-340. Routledge, 2021.
10. Javier Anta Pulido, Historical and Conceptual Foundations of Information Physics, PhD Thesis, 2021.
11. Леон Бриллюэн, Наука и теория информации, 1960. Lеon Brillouin, Science and Information Theory, 1956.
12. Е. Б. Рудный, Обратимые процессы в классической термодинамике, 2025, PREPRINTS.RU. doi:10.24108/preprints-3113916
13. O. J. Maroney, C. G Timpson. How is there a Physics of Information? On characterising physical evolution as information processing. In: Physical Perspectives on Computation, Computational Perspectives on Physics, edited by Michael E. Cuffaro, Samuel C. Fletcher, 2018, p. 103 — 126.
14. Gualtiero Piccinini and Corey Maley, Computation in Physical Systems, The Stanford Encyclopedia of Philosophy, 2021.
15. Е. Б. Рудный, Проблема координации: Энтропия как физическая величина в класси­чес­кой термодинамике, 2025, PREPRINTS.RU. doi:10.24108/preprints-3113966
16. Термодинамические свойства индивидуальных веществ. Справочное издание в четырех томах, третье издание, 1978 — 1982.
17. Bas C. van Fraassen, Scientific Representation: Paradoxes of Perspective, 2008, Part II: Windows, Engines, and Measurement.
18. Е. Б. Рудный, Проблема координации: Температура как физическая величина, 2025, PREPRINTS.RU. doi:10.24108/preprints-3113833
19. R. Landauer, Information is a physical entity. Physica A: Statistical Mechanics and its applications. 1999, 263(1-4):63-7.

Обсуждение

ЖЖ, facebook

Препринт ЖЖ, facebook

18.08.2025 От информационной энтропии к информационному полю

В обсуждении с pargentum пришла идея, что можно вывести информационную физику на новый уровень.

1. Точка отсчета: эквивалентность информационной и термодинамической энтропии.

2. В неравновесной термодинамике вводится плотность энтропии как функция координат и времени, другими словами, вводится поле плотности энтропии.

3. Из двух предыдущих утверждений следует существование информационного поля и, таким образом, мы живем внутри информационного поля.

Обсуждение: ЖЖ, facebook