Энтропи́я (от др.-греч. ἐντροπία - поворот, превращение) — в естественных науках мера беспорядка системы, состоящей из многих элементов. В частности, в статистической физике — мера вероятности осуществления какого-либо макроскопического состояния; в теории информации — мера неопределённости какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации; в исторической науке, для экспликации феномена альтернативности истории (инвариантности и вариативности исторического процесса).

Энтропия в информатике — степень неполноты, неопределённости знаний.

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при обратимых процессах, тогда как в необратимых — её изменение всегда положительно.

,

где  — приращение энтропии;  — минимальная теплота, подведенная к системе; T — абсолютная температура процесса;

Употребление в различных дисциплинах

• Термодинамическая энтропия — термодинамическая функция, характеризующая меру неупорядоченности термодинамической системы, то есть неоднородность расположения и движения её частиц.
• Информационная энтропия — мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.
• Дифференциальная энтропия — энтропия для непрерывных распределений
• Энтропия динамической системы — в теории динамических систем мера хаотичности в поведении траекторий системы.
• Энтропия отражения — часть информации о дискретной системе, которая не воспроизводится при отражении системы через совокупность своих частей.
• Энтропия в теории управления — мера неопределённости состояния или поведения системы в данных условиях.

Энтропия — функция состояния системы, равная в равновесном процессе количеству теплоты, сообщённой системе или отведённой от системы, отнесённому к термодинамической температуре системы.

Энтропия — функция, устанавливающая связь между макро- и микро- состояниями; единственная функция в физике, которая показывает направленность процессов. Энтропия — функция состояния системы, которая не зависит от перехода из одного состояния в другое, а зависит только от начального и конечного положения системы.

См. также

• Хаос
• Негэнтропия
• Энергия
• Второе начало термодинамики
• Принцип_Ландауэра

Литература

• Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.
• Мартин Н., Ингленд Дж. Математическая теория энтропии. — М.: Мир, 1988. — 350 с.
• Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — В. 3(55). — Т. 8. — С. 3-20.
• Гленсдорф П., Пригожин И. Термодинамическая теория структуры, устойчивости и флуктуаций. — М., 1973.
• Пригожин И., Стенгерс И. Порядок из хаоса. Новый диалог человека с природой. — М., 1986.
• Брюллюэн Л. Наука и теория информации. — М., 1960.
• Винер Н. Кибернетика и общество. — М., 1958.
• Винер Н. Кибернетика или управление и связь в животном и машине. — М., 1968.
• Де Гроот С., Мазур П. Неравновесная термодинамика. — М., 1964.
• Зоммерфельд А. Термодинамика и статистическая физика. — М., 1955.
• Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М., 1974.
• Эшби У. Р. Введение в кибернетику. — М., 1965.
• Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.
• Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.

Ссылки

• Энтропия — история и определение термина
• Информационные функции и энтропия Больцмана