Находя максимальное значение энтропии, мы получаем совершенно аналогично классическому случаю закон распределения молекул по энергетическим уровням.
И обозначает максимальное значение энтропии.
При наличии максимального значения энтропии Н (х, у) система не имеет никакой организации и значения величин х и у не связаны между собой.
Доказать необходимость максимального значения энтропии для равновесного состояния системы на основе обобщенного уравнения термодинамики невозможно. Однако равновесие невозможно при немаксимальном значении энтропии.
Формула (1.1) выражает максимальное значение энтропии (1.8); когда все возможные состояния системы равновероятны, она наиболее неупо-рядоченна, а следовательно, ее энтропия должна иметь наибольшее значение.
Другими словами, максимальное значение энтропии коррозионной пары с конечным числом состояний равно логарифму этого числа и достигает Smax тогда, когда все состояния равновероятны. В случае, если состояния коррозионной пары известны заранее, то ее энтропия равна нулю.
Состояние системы с максимальным значением энтропии и есть состояние устойчивого равновесия. Действительно, в этом состоянии в системе необратимые процессы протекать не могут, так как в противном случае энтропия системы должна была бы возрастать, чего быть не может.
Так как состояние равновесия отвечает максимальному значению энтропии, а потоки в этом состоянии исчезают, то все параметры в равновесном состоянии обращаются в нуль.
Метастабильное состояние равновесия характеризуется также максимальным значением энтропии (и минимумами энергии и термодинамических потенциалов), но для системы возможны и другие состояния равновесия, в которых при тех же значениях энергии, объема и количеств веществ энтропия имеет еще большие значения.
Если термодинамическое равновесие, которое соответствует максимальному значению энтропии, имеет лишь статистическую природу, то следует ожидать отклонений от наиболее вероятных значений при наблюдениях в очень малых областях. С этими флуктуациями плотности связано рассеяние света в атмосфере, в частности цвет неба; теория этого явления позволяет вычислить число Авогадро из спектрального распределения интенсивности рассеянного света. Если в жидкости имеются малые, но все же заметные под микроскопом частицы (коллоидные частицы), то видно их нерегулярное дрожание, обусловленное тем, что удары молекул жидкости с разных сторон не в точности уравновешиваются в каждое мгновение: то с одной, то с другой стороны частицу ударяет большее число молекул, и она смещается в соответствующем направлении. Сущность этого явления, названного броуновским движением (в честь английского ботаника Броуна), долго оставалась неясной. Но под микроскопом наблюдается скорость, на много порядков меньшая, если определять ее обычным образом как отношение пути ко времени. В действительности же скорость частицы столь часто меняет свое направление, что наблюдаемое движение такой частицы представляет собой лишь грубое приближение истинного зигзагообразного движения.
Если система находится в состоянии равновесия, характеризующемся максимальным значением энтропии, то наиболее вероятными будут процессы, при которых энтропия системы не изменяется. Из сопоставления этих выводов со вторым началом термодинамики видна их эквивалентность.
В данном примере (при двух возможных исходах) максимальное значение энтропии равно одной двоичной единице.
При этом следует учесть, что распределение Флори дает максимальное значение энтропии.
Изменение энтропии изолированной системы конечных размеров.
Система в основном находится в равновесном состоянии, отвечающем максимальному значению энтропии системы; отклонившись от этого состояния, система затем возвращается к нему. При наблюдении системы продолжительное время можно отметить, что случаи увеличения и уменьшения энтропии встречаются одинаково часто, причем время повторяемости какого-либо отклонения системы от равновесного состояния тем больше, чем меньше вероятность данного неравновесного состояния. С увеличением размеров системы время повторяемости быстро возрастает. Поэтому процессы, являющиеся необратимыми с точки зрения обычной термодинамики, представляются практически необратимыми и со статистической точки зрения. Указанное обстоятельство сближает обе формулировки второго начала термодинамики и практически снимает отмеченное выше и различие.
Докажем для простейшего случая (для однофазной системы), что максимальное значение энтропии или минимальное значение свободной энергии системы соответствуют равнораспределению изотопов. Пусть далее в соединении АХ содержится а р п атомов элемента X, участвующего в обмене.
Можно показать, что при заданной дисперсии состояний о распределение по нормальному закону дает максимальное значение энтропии.
Самопроизвольные процессы в изолированных системах могут протекать лишь в сторону возрастания энтропии, а равновесию соответствует максимальное значение энтропии.
Вводя скорости и рассматривая неравновесные состояния, представляющие собой организмы, мы лишаемся такого надежного критерия, как максимальное значение энтропии, и должны попытаться найти другие основания для отбора состояний, являющихся устойчивыми.
Температуры стеклования и плавления ряда полимеров, области их применения. При деформации такой системы суммарная величина статистической неупорядоченности уменьшается, поэтому система стремится возвратиться к состоянию, которому отвечает максимальное значение энтропии.
Глубина самопроизвольных процессов определяется величиной энтропии каждого из тел, между которыми осуществляется какой-либо процесс, прекращающийся при достижении максимального значения энтропии, после чего система вступает в тепловое равновесное состояние, выйти из которого самопроизвольно не может.
Молекулярно-массовое распределение полигексаметиленадипамида по. При выводе этого уравнения принимается основное допущение о независимости реакционной способности молекул от величины молекулярной массы, а также допущения о максимальном значении энтропии для данного равновесного фракционного состава, об изменении фракционного состава при данной средней молекулярной массе только за счет изменения энтропии.
Равновесию гетерогенных систем отвечает равенство химических потенциалов каждого компонента во всех фазах, а также минимальное значение изохорного или изобарного потенциалов или максимальное значение энтропии всей системы при определенных условиях. Если в систему входит хотя бы одна фаза, состав которой изменяется в процессе приближения к равновесию, то равновесное состояние фазы и всей системы характеризуется константой равновесия, например в системах, состоящих из индивидуальных веществ в конденсированном состоянии и газов. В системах, состоящих из индивидуальных веществ в конденсированном состоянии, в которых состав фаз в ходе процесса не изменяется, а процесс идет до полного исчезновения одного из исходных веществ (например, полиморфные превращения веществ), понятие константы равновесия неприменимо.
Равновесию гетерогенных систем отвечает равенство химических потенциалов каждого компонента во всех фазах, а также минимальное значение одного из термодинамических потенциалов или максимальное значение энтропии всей системы при соответствующих условиях. Наиболее обычными условиями на практике являются постоянная температура и постоянное давление, поэтому мы будем оценивать равновесие гетерогенных систем по их изобарному потенциалу.
Принимая во внимание молекулярную природу рабочего вещества и флуктуации в нем внутренних параметров, можно отметить, что без установления равновесия в системе максимальное значение энтропии невозможно достигнуть. Флуктуации приводят систему к равновесию. Именно флуктуации в системах приводят к необходимости максимума энтропии при равновесии всякий раз, когда это условие не выполняется, то есть система выведена из равновесия.

Таким образом, основная причина упругости при деформации в высокоэластическом состоянии и возникновения напряжений в образце заключается в изменении конформации и переходе из равновесной формы статистического клубка с максимальным значением энтропии в неравновесную с уменьшением энтропии и обратный переход после прекращения деформации. Вклад энергетической составляющей в этот процесс невелик, а для идеальных сеток равен нулю.
ТЕПЛОВАЯ СМЕРТЬ ВСЕЛЕННОЙ - конечное состояние мира, к-рое якобы возникает в результате необратимого превращения всех форм движения в тепловую, рассеяния теплоты в пространстве и перехода мира в состояние равновесия с максимальным значением энтропии. Этот вывод делается на основе абсолютизации второго закона термодинамики и распространения его на всю вселенную.
ТЕПЛОВАЯ СМЕРТЬ ВСЕЛЕННОЙ - конечное состояние мира, к-рое якобы возникает в результате необратимого превращения всех форм движения в тепловую, рассеяния теплоты в пространстве и перехода мира в состояние равновесия с максимальным значением энтропии. Этот вывод делается на основе абсолютизации второго закона термодинамики и распространения его на всю вселенную. Образование звезд и галактик является одним из проявлений этого процесса. Необратимое изменение материи во вселенной не предполагает к.
Второе начало термодинамики устанавливает, что необратимые процессы (а такими являются практически все тепловые процессы и во всяком случае все естественно протекающие процессы) идут так, что энтропия системы тел, участвующих в процессе, растет, стремясь к максимальному значению. Максимальное значение энтропии достигается тогда, когда система приходит в состояние равновесия.
Свойство энтропии возрастать в необратимых процессах, да и сама необратимость находятся в противоречии с обратимостью всех механических движений и поэтому физический смысл энтропии не столь очевиден, как, например, физический смысл внутренней энергии. Максимальное значение энтропии замкнутой системы достигается тогда, когда система приходит в состояние термодинамического равновесия. Такая количественная формулировка второго закона термодинамики дана Клаузиусом, а ее молекулярно-кинетическое истолкование Больцманом, который ввел в теорию теплоты статистические представления, основанные на том, что необратимость тепловых процессов имеет вероятностный характер.
Соотношение (IX.2) выражает тот факт, что для состояния равновесия изолированной системы имеется условный максимум энтропии. Максимальное значение энтропии изолированной системы определяется заданными значениями энергии и объема системы, а также масс, а следовательно, и числа молей компонентов.
Рост энтропии в любом процессе продолжается не беспредельно, а лишь до определенного максимального значения, характерного для данной системы. Это максимальное значение энтропии соответствует состоянию равновесия, и после того, как оно достигнуто, какие бы то ни было изменения состояния без внешнего воздействия прекращаются.
Рост энтропии в любом процессе продолжается не беспредельно, а лишь до определенного максимального значения, характерного для данной системы. Это максимальное значение энтропии соответствует состоянию равновесия, и после того, как оно достигнуто, ка-кие бы то ни было изменения состояния без внешнего воздействия прекращаются.
Таким образом, в случае равновероятности входных событий энтропия соответствует количеству информации для равновероятных исходов. Хартли соответствует максимальному значению энтропии. Физически это определяет случай, когда неопределенность настолько велика, что прогнозировать оказывается трудно.
Ншкс максимальная 2птропия, возможная для всех составов с данным числом компонентов. Очевидно, максимальным значением энтропии обладают составы, в которых все компоненты находятся в равных концентрациях.
Как видим, наибольшая термодинамическая вероятность получится тогда, когда молекулы равномерно распределятся по участкам. Этому равномерному распределению отвечает максимальное значение энтропии.
Более строгое развитие этого вопроса дается в статистической термодинамике. Отметим только, что максимальное значение энтропии, отвечающее состоянию равновесия, рассматривается лишь как наиболее вероятное. При достаточно большом промежутке времени возможны отклонения от него. В макросистемах для этого требуются времена астрономического порядка. В микроскопических объемах, внутри окружающих нас тел такие изменения происходят постоянно.
Отсюда ясно, что эти процессы будут продолжаться до тех пор, пока энтропия системы не достигнет максимума. Состояние изолированной системы с максимальным значением энтропии и есть состояние устойчи - - вого равновесия.
Отсюда ясно, что эти процессы будут продолжаться до тех пор, пока энтропия системы не достигнет максимума. Состояние изолированной системы с максимальным значением энтропии и есть состояние устойчи - вого равновесия.

Статистический характер закона возрастания энтропии вытекает из самого определения энтропии (III.70), связывающего эту функцию с вероятностью данного макроскопического состояния системы. Однако равновесное состояние, которому отвечает максимальное значение энтропии изолированной системы, наиболее вероятно, причем для макроскопических систем максимум является чрезвычайно резким. Равновесному состоянию макроскопической изолированной системы отвечает почти весь объем энергетического слоя, и изображающая точка системы с вероятностью, близкой к единице, находится Именно в этой области. Если система не находится в состоянии, которому отвечает равновесное значение макроскопического параметра X (с точностью до интервала ДХ), она почти наверняка придет к этому состоянию; если же система уже находится в этом состоянии, она очень редко будет выходить из него.
Статистический характер закона возрастания энтропии вытекает из самого определения энтропии (II 1.63), связывающего эту функцию с вероятностью данного макроскопического состояния системы. Однако равновесное состояние, которому отвечает максимальное значение энтропии изолированной системы, наиболее вероятно, причем для макроскопических систем максимум является чрезвычайно резким. Равновесному состоянию макроскопической изолированной системы отвечает почти весь объем энергетического слоя, и изображающая точка системы с ностью, близкой к единице, находится именно в этой области, система не находится в состоянии, которому отвечает равновесное значение макроскопического параметра X (с точностью до интервала АХ), она почти наверняка придет к этому состоянию; если же система уже находится в этом состоянии, она очень редко будет выходить из него.
Наиболее общие условия равновесия вытекают из утверждения второго закона термодинамики о росте энтропии адиабатически изолированной системы при протекании в ней необратимых процессов. Если некоторое состояние такой системы характеризуется максимальным значением энтропии, то это состояние не может быть неравновесным, так как иначе при релаксации энтропия системы согласно второму закону возрастала бы, что не согласуется с предположением о ее максимальности. Следовательно, условие максимальности энтропии изолированной системы является достаточным условием ее равновесности.

Энтропия (от др.-греч. ἐντροπία «поворот», «превращение») – широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы, определяющая меру необратимого рассеивания энергии. В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике.

В науку это понятие вошло ещё в XIX веке. Изначально оно было применимо к теории тепловых машин, но достаточно быстро появилось и в остальных областях физики, особенно, в теории излучения. Очень скоро энтропия стала применяться в космологии, биологии, в теории информации. Различные области знаний выделяют разные виды меры хаоса:

• информационная;
• термодинамическая;
• дифференциальная;
• культурная и др.

Например, для молекулярных систем существует энтропия Больцмана, определяющая меру их хаотичности и однородности. Больцман сумел установить взаимосвязь между мерой хаоса и вероятностью состояния. Для термодинамики данное понятие считается мерой необратимого рассеяния энергии. Это функция состояния термодинамической системы. В обособленной системе энтропия растёт до максимальных значений, и они в итоге становятся состоянием равновесия. Энтропия информационная подразумевает некоторую меру неопределённости или непредсказуемости.

Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.

Для обратимых (равновесных) процессов выполняется следующее математическое равенство (следствие так называемого равенства Клаузиуса), где – подведенная теплота, – температура, и – состояния, и – энтропия, соответствующая этим состояниям (здесь рассматривается процесс перехода из состояния в состояние).

Для необратимых процессов выполняется неравенство, вытекающее из так называемого неравенства Клаузиуса, где – подведенная теплота, – температура, и – состояния, и – энтропия, соответствующая этим состояниям.

Поэтому энтропия адиабатически изолированной (нет подвода или отвода тепла) системы при необратимых процессах может только возрастать.

Используя понятие энтропии Клаузиус (1876) дал наиболее общую формулировку 2-го начала термодинамики: при реальных (необратимых) адиабатических процессах энтропия возрастает, достигая максимального значения в состоянии равновесия (2-ое начало термодинамики не является абсолютным, оно нарушается при флуктуациях).

Абсолютная энтропия (S) вещества или процесса – это изменение доступной энергии при теплопередаче при данной температуре (Btu/R, Дж/К). Математически энтропия равняется теплопередаче, деленной на абсолютную температуру, при которой происходит процесс. Следовательно, процессы передачи большого количества теплоты больше увеличивают энтропию. Также изменения энтропии увеличатся при передаче теплоты при низкой температуре. Так как абсолютная энтропия касается пригодности всей энергии вселенной, температуру обычно измеряют в абсолютных единицах (R, К).

Удельную энтропию (S) измеряют относительно единицы массы вещества. Температурные единицы, которые используются при вычислении разниц энтропии состояний, часто приводятся с температурными единицами в градусах по Фаренгейту или Цельсию. Так как различия в градусах между шкалами Фаренгейта и Ренкина или Цельсия и Кельвина равные, решение в таких уравнениях будет правильным независимо от того, выражена энтропия в абсолютных или обычных единицах. У энтропии такая же данная температура, как и данная энтальпия определенного вещества.

Подводим итог: энтропия увеличивается, следовательно, любыми своими действиями мы увеличиваем хаос.

Просто о сложном

Энтропия – мера беспорядка (и характеристика состояния). Визуально, чем более равномерно расположены вещи в некотором пространстве, тем больше энтропия. Если сахар лежит в стакане чая в виде кусочка, энтропия этого состояния мала, если растворился и распределился по всем объёму – велика. Беспорядок можно измерить, например, посчитав сколькими способами можно разложить предметы в заданном пространстве (энтропия тогда пропорциональна логарифму числа раскладок). Если все носки сложены предельно компактно одной стопкой на полке в шкафу, число вариантов раскладки мало и сводится только к числу перестановок носков в стопке. Если носки могут находиться в произвольном месте в комнате, то существует немыслимое число способов разложить их, и эти раскладки не повторяются в течение нашей жизни, как и формы снежинок. Энтропия состояния «носки разбросаны» – огромна.

Второй закон термодинамики гласит, что самопроизвольно в замкнутой системе энтропия не может убывать (обычно она возрастает). Под её влиянием рассеивается дым, растворяется сахар, рассыпаются со временем камни и носки. Эта тенденция объясняется просто: вещи движутся (перемещаются нами или силами природы) обычно под влиянием случайных импульсов, не имеющих общей цели. Если импульсы случайны, всё будет двигаться от порядка к беспорядку, потому что способов достижения беспорядка всегда больше. Представьте себе шахматную доску: король может выйти из угла тремя способами, все возможные для него пути ведут из угла, а прийти обратно в угол с каждой соседней клетки – только одним способом, причём этот ход будет только одним из 5 или из 8 возможных ходов. Если лишить его цели и позволить двигаться случайно, он в конце концов с равной вероятностью сможет оказаться в любом месте шахматной доски, энтропия станет выше.

В газе или жидкости роль такой разупорядочивающей силы играет тепловое движение, в вашей комнате – ваши сиюминутные желания пойти туда, сюда, поваляться, поработать, итд. Каковы эти желания – неважно, главное, что они не связаны с уборкой и не связаны друг с другом. Чтобы снизить энтропию, нужно подвергнуть систему внешнему воздействию и совершить над ней работу. Например, согласно второму закону, энтропия в комнате будет непрерывно возрастать, пока не зайдёт мама и не попросит вас слегка прибрать. Необходимость совершить работу означает также, что любая система будет сопротивляться уменьшению энтропии и наведению порядка. Во Вселенной та же история – энтропия как начала возрастать с Большого Взрыва, так и будет расти, пока не придёт Мама.

Мера хаоса во Вселенной

Для Вселенной не может быть применён классический вариант вычисления энтропии, потому что в ней активны гравитационные силы, а вещество само по себе не может образовать замкнутую систему. Фактически, для Вселенной – это мера хаоса.

Главнейшим и крупнейшим источником неупорядоченности, которая наблюдается в нашем мире, считаются всем известные массивные образования – чёрные дыры, массивные и сверхмассивные.

Попытки точно рассчитать значение меры хаоса пока нельзя назвать удачными, хотя они происходят постоянно. Но все оценки энтропии Вселенной имеют значительный разброс в полученных значениях – от одного до трёх порядков. Это объясняется не только недостатком знаний. Ощущается недостаточность сведений о влиянии на расчёты не только всех известных небесных объектов, но и тёмной энергии. Изучение её свойств и особенностей пока в зачатке, а влияние может быть определяющим. Мера хаоса Вселенной всё время изменяется. Учёные постоянно проводят определённые исследования, чтобы получить возможность определения общих закономерностей. Тогда будет можно делать достаточно верные прогнозы существования различных космических объектов.

Тепловая смерть Вселенной

У любой замкнутой термодинамической системы есть конечное состояние. Вселенная тоже не является исключением. Когда прекратится направленный обмен всех видов энергий, они переродятся в тепловую энергию. Система перейдёт в состояние тепловой смерти, если термодинамическая энтропия получит наивысшие значение. Вывод о таком конце нашего мира сформулировал Р. Клаузиус в 1865 году. Он взял за основу второй закон термодинамики. Согласно этому закону, система, которая не обменивается энергиями с другими системами, будет искать равновесное состояние. А оно вполне может иметь параметры, характерные для тепловой смерти Вселенной. Но Клаузиус не учитывал влияния гравитации. То есть, для Вселенной, в отличие от системы идеального газа, где частицы распределены в каком-то объёме равномерно, однородность частиц не может соответствовать самому большому значению энтропии. И всё-таки, до конца не ясно, энтропия - допустимая мера хаоса или смерть Вселенной?

Энтропия в нашей жизни

В пику второму началу термодинамики, по положениям которого всё должно развиваться от сложного к простому, развитие земной эволюции продвигается в обратном направлении. Эта нестыковка обусловлена термодинамикой процессов, которые носят необратимый характер. Потребление живым организмом, если его представить как открытую термодинамическую систему, происходит в меньших объёмах, нежели выбрасывается из неё.

Пищевые вещества обладают меньшей энтропией, нежели произведённые из них продукты выделения. То есть, организм жив, потому что может выбросить эту меру хаоса, которая в нём вырабатывается в силу протекания необратимых процессов. К примеру, путём испарения из организма выводится около 170 г воды, т.е. тело человека компенсирует понижение энтропии некоторыми химическими и физическими процессами.

Энтропия – это некая мера свободного состояния системы. Она тем полнее, чем меньшие ограничения эта система имеет, но при условии, что степеней свободы у неё много. Получается, что нулевое значение меры хаоса – это полная информация, а максимальное – абсолютное незнание.

Вся наша жизнь – сплошная энтропия, потому что мера хаоса иногда превышает меру здравого смысла. Возможно, не так далеко время, когда мы придём ко второму началу термодинамики, ведь иногда кажется, что развитие некоторых людей, да и целых государств, уже пошло вспять, то есть, от сложного к примитивному.

Выводы

Энтропия – обозначение функции состояния физической системы, увеличение которой осуществляется за счёт реверсивной (обратимой) подачи тепла в систему;

величина внутренней энергии, которая не может быть преобразована в механическую работу;

точное определение энтропии производится посредством математических расчётов, при помощи которых устанавливается для каждой системы соответствующий параметр состояния (термодинамическое свойство) связанной энергии. Наиболее отчётливо энтропия проявляется в термодинамических процессах, где различают процессы, обратимые и необратимые, причём в первом случае энтропия остаётся неизменной, а во втором постоянно растёт, и это увеличение осуществляется за счёт уменьшения механической энергии.

Следовательно, все то множество необратимых процессов, которые происходят в природе, сопровождается уменьшением механической энергии, что в конечном итоге должно привести к остановке, к «тепловой смерти». Но этого не может произойти, поскольку с точки зрения космологии невозможно до конца завершить эмпирическое познание всей «целостности Вселенной», на основе которого наше представление об энтропии могло бы найти обоснованное применение. Христианские теологи полагают, что, основываясь на энтропии, можно сделать вывод о конечности мира и использовать её для доказательства «существования Бога». В кибернетике слово «энтропия» используется в смысле, отличном от его прямого значения, который лишь формально можно вывести из классического понятия; оно означает: среднюю наполненность информацией; ненадёжность в отношении ценности «ожидания» информации.

Игра в бильярд начинается с того, что шары аккуратной пирамидкой выстраиваются на столе. Затем наносится первый удар кием, который разбивает пирамиду. Шары перекатываются по столу по причудливым траекториям, многократно сталкиваются со стенками стола и друг с другом и, наконец, застывают в некотором новом расположении. Отчего-то новое расположение всегда менее упорядоченно. Почему? Можно пробовать бесконечно. Положения шаров на столе каждый раз будут меняться, но никогда мы не придем к такой же упорядоченной пирамиде, которая была на столе перед первым ударом. Система самопроизвольно переходит в менее упорядоченные состояния. Никогда не в более упорядоченные. Для того чтобы система перешла в упорядоченное состояние, необходимо вмешательство извне. Кто-нибудь из играющих берет треугольную рамку и формирует новую пирамиду. Процесс требует вложения энергии. Не существует способа заставить шары самопроизвольно выстроиться в пирамиду в результате соударений друг с другом и со стенками.

Процесс нарастания беспорядка на бильярдном столе не управляется (хотя и требует энергии для своего прохождения), потому что хороший бильярдный стол специально делается таким, чтобы энергия шара в любой его точке была одинаковой. То, что происходит на бильярдном столе, демонстрирует другой великий принцип, по которому организована наша Вселенная: принцип максимума энтропии. Разумеется, одним лишь бильярдным столом великий принцип мироздания не ограничивается. Так что будем разбираться.

Энтропия - это мера неупорядоченности системы. Чем меньше порядка в системе, тем выше ее энтропия. Наверное, имеет смысл поговорить о том, что считать порядком и что беспорядком.

Под порядком можно понимать регулярное расположение частиц, когда расстояния и направления повторяются, а по расположению нескольких частиц можно предсказать расположение следующей. Если частицы равномерно перемешаны безо всякого видимого закона расположения - это беспорядок. Если частицы аккуратно собраны в одной области пространства - это порядок. Если разбросаны повсюду - беспорядок. Если разные компоненты смеси находятся в разных местах - это порядок. Если все вперемежку - беспорядок. В общем, спросите маму или жену - она объяснит.

Энтропия газа (между прочим, слово "газ" - это искаженное греческое "хаос") выше, чем жидкости. Энтропия жидкости выше, чем твердого тела. Вообще говоря, повышение температуры увеличивает беспорядок. Из всех состояний вещества наименьшую энтропию будет иметь твердый кристалл при температуре абсолютного нуля. Эту энтропию принимают за нулевую.

В различных процессах энтропия изменяется. Если в некотором процессе не происходит изменения энергии, то процесс протекает самопроизвольно только в том случае, если это ведет к повышению энтропии системы. (Что происходит, когда меняется и энтропия, и энергия, мы обсудим немного позже.) Именно поэтому после удара кием шары на бильярдном столе переходят в менее упорядоченное положение. Изменения энтропии в различных системах можно суммировать в виде принципа максимума энтропии :

Любая система самопроизвольно стремится занять наиболее неупорядоченное доступное ей состояние.

Очень часто это же самое формулируется в виде принципа неуменьшения энтропии :

Энтропия изолированной системы не может уменьшиться.

Эта формулировка породила и порождает продолжать массу споров на тему тепловой смерти Вселенной: Вселенная по определению является изолированной системой (поскольку у нее отсутствует окружающая среда, с которой был бы возможен обмен массой или энергией), следовательно, ее энтропия постепенно возрастает. Следовательно, Вселенная придет в конце концов в состояние полной однородной неупорядоченности, в котором не может существовать ни один объект, как-то отличающийся от окружения. Тема в высшей степени увлекательная, но давайте об этом как-нибудь в другой раз.

Для источника с зависимыми сообщениями энтропия тоже вычисляется как математическое ожидание количества информации на один элемент этих сообщений. Количество информации и энтропия являются логарифмическими мерами и измеряются в одних и тех же единицах.

6. Энтропия объединенных статистически независимых источников информации равна сумме их энтропий. 7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, полностью игнорируя содержательную сторону ансамбля. ЭНТРОПИЯ ЭКОСИСТЕМЫ - мера неупорядоченности экосистемы, или количества энергии, недоступной для использования. Чем больше показатель энтропии, тем менее устойчива экосистема во времени и пространстве.

4.1.2. Энтропия и производительность дискретного источника сообщений

Любое из этих сообщений описывает состояние какой-то физической системы. Мы видим, что степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний. В качестве меры априорной неопределенности системы (или прерывной случайной величины) в теории информации применяется специальная характеристика, называемая энтропией.

Энтропия, как мы увидим в дальнейшем, обладает рядом свойств, оправдывающих ее выбор в качестве характеристики степени неопределенности. Наконец, и это самое главное, она обладает свойством аддитивности, т. е. когда несколько независимых систем объединяются в одну, их энтропии складываются. Если за основание выбрано число 10, то говорят о «десятичных единицах» энтропии, если 2 — о «двоичных единицах».

Докажем, что энтропия системы с конечным множеством состояний достигает максимума, когда все состояния равновероятны. Пример 3. Определить максимально возможную энтропию системы, состоящей из трех элементов, каждый из которых может быть в четырех возможных состояниях.

Следует заметить, что полученное в этом случае значение энтропии будет меньше, чем для источника независимых сообщений. Это следует из того, что при наличии зависимости сообщений неопределенность выбора уменьшается и, соответственно, уменьшается энтропия. Определим энтропию двоичного источника. График зависимости (4.4) представлен на рис. 4.1. Как следует из графика, энтропия двоичного источника изменяется в пределах от нуля до единицы.

Основные свойства энтропии

Обычно отмечают, что энтропия характеризует заданное распределение вероятностей с точки зрения степени неопределенности исхода испытания, т. е. неопределенности выбора того или иного сообщения. Действительно, легко убедиться, что энтропия равна нулю тогда и только тогда, когда одна из вероятностей равна единице, а все остальные равны нулю; это означает полную определенность выбора.

Возможна и другая наглядная интерпретация понятия энтропии как меры «разнообразия» сообщений, создаваемых источником. Легко убедиться, что приведенные выше свойства энтропии вполне согласуются с интуитивным представлением о мере разнообразия. Также естественно считать, что количество информации, содержащееся в элементе сообщения, тем больше, чем более разнообразны возможности выбора этого элемента.

Выражение представляющее математическое ожидание количества информации в выбираемом элементе, для источника, находящегося в -м состоянии, можно назвать энтропией этого состояния. Определенная выше энтропия источника на элемент сообщения зависит от того, каким образом сообщения расчленяются на элементы, т. е. от выбора алфавита. Однако энтропия обладает важным свойством аддитивности.

Отметим некоторые свойства энтропии. Энтропия. Пожалуй, это одно из самых сложных для понимания понятий, с которым вы можете встретиться в курсе физики, по крайней мере если говорить о физике классической.

Например, если вы спросите меня, где я живу, и я отвечу: в России, то моя энтропия для вас будет высока, всё-таки Россия большая страна. Если же я назову вам свой почтовый индекс: 603081, то моя энтропия для вас понизится, поскольку вы получите больше информации.

Энтропия вашего знания обо мне понизилась приблизительно на 6 символов. А что если бы я вам сказал, что сумма равна 59? Для этого макросостояния существует всего 10 возможных микросостояний, так что его энтропия равна всего лишь одному символу. Как видите, разные макросостояния имеют разные энтропии. Мы измеряем энтропию как количество символов, необходимых для записи числа микросостояний.

Другими словами, энтропия - это то, как мы описываем систему. Например, если мы немного нагреем газ, то скорость его частиц возрастёт, следовательно, возрастёт и степень нашего незнания об этой скорости, то есть энтропия вырастет. Или, если мы увеличим объём газа, отведя поршень, увеличится степень нашего незнания положения частиц, и энтропия также вырастет.

С одной стороны, это расширяет возможности использования энтропии при анализе самых различных явлений, но, с другой стороны, требует определенной дополнительной оценки возникающих ситуаций. Это во-первых.Во-вторых, Вселенная — это не обычный конечный объект с границами, это сама бесконечность во времени и пространстве.

МАКСИМАЛЬНАЯ РАБОТА - в термодинамике 1) работа, совершаемая теплоизолиров. Любое сообщение, с которым мы имеем дело в теории информации, представляет собой совокупность сведений о некоторой физической системе. Очевидно, если бы состояние физической системы было известно заранее, не было бы смысла передавать сообщение.

Очевидно, сведения, полученные о системе, будут, вообще говоря, тем ценнее и содержательнее, чем больше была неопределенность системы до получения этих сведений («априори»). Чтобы ответить на этот вопрос, сравним между собой две системы, каждой из которых присуща некоторая неопределенность.

Однако в общем случае это не так. Рассмотрим, например, техническое устройство, которое может быть в двух состояниях: 1) исправно и 2) отказало. Подчеркнем, что для описания степени неопределенности системы совершенно неважно, какие именно значения записаны в верхней строке таблицы; важны только количество этих значений и их вероятности. Понятие об энтропии является в теории информации основным.

Количество этой информации и называется энтропией. Предположим, что в некоторое сообщение вошло элементов алфавита, элементов и т.д. Величину называют энтропией источника сообщений. 3. Энтропия максимальна, если все состояния элементов сообщений равновероятны. В теории информации доказывается, что всегда, т. е. наличие вероятностных связей уменьшает энтропию источника сообщений.

Энтропия определяется как среднее значение собственной информации ансамбля

Метод максимума энтропии, аналогично методу максимума информации, строится на поиске среди всех возможных распределений вероятностей такого, которое обладает максимальной энтропией вида (3.19). Таким образом, критерий максимума энтропии используется для снятия неопределенности решения, а функционал (3.19) выступает как своеобразная «мера качества» изображения .

Смысл такой меры качества можно понять, обратившись к задаче оценивания плотностей распределения вероятностей в математической статистике. В случае известных моментов случайного распределения оценка, получаемая максимизацией выражения (3.19), является наименее смещенной из всех возможных оценок. Можно ожидать, что максимум (3.19) при наложенных ограничениях на процесс формирования изображения будет давать хорошую оценку плотности распределения. Попытаемся рассмотреть процесс формирования изображения и выяснить физический смысл критерия максимума энтропии.

Пусть суммарная интенсивность источника равна причем из точки излучается интенсивность из Подсчитаем число способов, которыми данный объект может быть сформирован из лучей:

Теперь найдем такое распределение, которое будет сформировано в наибольшем числе случаев

Заменив на его логарифм (максимум при этом не сместится) и используя формулу Стирлинга, получим :

Для решения задачи необходимо учесть также ограничения на уравнения формирования:

а также ограничение на суммарную интенсивность изображения, т. е.

Выражения составляют основу метода максимума энтропии. Физический смысл применения критерия максимума энтропии заключается в поиске такого распределения вероятностей на входе канала, которое в большинстве случаев формирует заданное выходное распределение или поиск наиболее правдоподобного распределения источника при заданных условиях формирования. В этом смысле метод максимума энтропии можно рассматривать как метод максимального правдоподобия для лучевой модели формирования изображений .

Рассмотрим одну из наиболее часто встречающихся форм записи метода максимума энтропии. Будем рассматривать одновременно с формированием изображения параллельное формирование шумового поля :

На основании приведенных рассуждений получим, что шумовое поле может быть создано способами, где

Для решения задачи необходимо максимизировать совместную вероятность формирования изображения и шумового поля

Логарифмирование этого выражения дает сумму энтропий шума и изображения:

Учитывая ограничения на процесс формирования и сохранение числа лучей (суммарную интенсивность), получим следующую задачу оптимизации:

где величины и являются множителями Лагранжа задачи оптимизации. Для решения системы найдем частные производные (3.25) по и приравняем их к нулю:

Подставляя выражения для и из (3.26), (3.27) в уравнения ограничений, находим

Из уравнений вида (3.28) определяются множители Лагранжа которые используются для нахождения функции входного распределения:

Экспонента в (3.29) обеспечивает положительность решения Сам функционал энтропии существенно нелинеен, что обусловливает интересную особенность уравнений (3.29): они могут содержать пространственные частоты, которые отсутствовали в спектре искаженного изображения. Это позволяет говорить о возможности «сверхразрешения», т. е. восстановлении информации, уничтоженной системой формирования с ограниченной полосой (эффекту сверхразрешения и оценке его возможностей посвящена гл. 5). Отметим также, что решения, получаемые на основе (3.29), обладают повышенным качеством по сравнению с линейными алгоритмами восстановления, однако требуют решения сложной системы нелинейных уравнений.

Выражению для энтропии в форме (3.19) существует альтернатива, предложенная Бургом для оценок спектров мощности . Эта форма энтропии имеет следующий вид:

Метод восстановления на основе выражения (3.30) также можно использовать в практике обработки изображений. Пусть нам известны зашумленные отсчеты спектра

где соответственно отсчеты спектров Наложим ограничение на расхождение истинных и зашумленных отсчетов спектра наблюдаемого изображения :

Тогда для нахождения решения требуется максимизировать более простой функционал:

Необходимо отметить, что в последнее время появилось большое число алгоритмов на основе как (3.19), так и (3.30), использующих при этом самые разнообразные ограничения, вытекающие из постановки каждой конкретной задачи. Правда, наличие двух норм энтропии вызывает некоторое сомнение, во-первых, из-за того, что неясно, какую из них использовать на практике, а во-вторых, из-за недостаточно четкой постановки задачи восстановления.

Существует еще одна интересная особенность алгоритмов, основанных на поиске максимума энтропии. Обратимся к выражениям (3.27)-(3.29) для случая идеальной системы формирования, но при наличии аддитивного шума Нетрудно видеть, что применение алгоритма максимума энтропии в этом случае претендует на выделение изображения из шума без каких-либо априорных характеристик шума и сигнала. Однако более внимательный анализ показывает, что решение с помощью уравнений вида (3.28) дает парадоксальный результат: сигнал и шум оказываются связаны линейной зависимостью. Действительно, оценка сигнала здесь равна

а оценка шума будет:

В практических приложениях для избежания этого эффекта выражение для энтропии шума берут с некоторым весовым коэффициентом и вместо (3.24) рассматривают следующий функционал:

Этот прием, однако, оставляет неясным физический смысл производных преобразований.

Еще один недостаток метода максимума энтропии состоит в том, что наилучшие результаты с его помощью получаются при восстановлении объектов, состоящих из отдельных импульсов на однородном фоне, а попытки применения метода к пространственно протяженным объектам вызывают появление флуктуаций .

Изложенные результаты, касающиеся методов максимума энтропии и максимума информации, могут быть объединены

в единую схему, основанную на построении алгоритмов оценивания плотности распределения с помощью метода максимального правдоподобия. Тем самым рассмотренные алгоритмы можно включить в группу методов статистической регуляризации, описанных в § 2.4. Отличие лишь в том, что эти алгоритмы основаны на другой статистической модели - представлении самого изображения как плотности вероятности. Такая модель сразу же приводит к нелинейности рассматриваемых функционалов . Однако отмеченные ранее недостатки заставляют искать алгоритмы, которые, сохраняя преимущества теоретико-информационных методов восстановления (неограниченность по полосе частот, неотрицательность решения и т. п.), позволяют восстанавливать более широкий класс изображений.