Реферат по физике на тему энтропия

Обновлено: 02.07.2024

Файлы: 1 файл

МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИИ 2 (Восстановлен).docx

2.1 Понятие энтропии и информации ………………. 5-6

2.2 Основа информационной теории ………………………. 7-12

2.3 Информационная энтропия……………………………….13-15

2.4 Свойства и эффективность………………………………..16- 17

4.Список используемой литературы………………………………………………23
Введение

Важнейшим шагом на пути постижения природы и механизмов антиэнтропийных процессов следует введение количественной меры информации. Первоначально эта мера предназначалась лишь для решения сугубо прикладных задач техники связи. Однако последующие исследования в области физики и биологии позволили выявить универсальные меры, предложенные К.Шенноном, позволяющие установить взаимосвязь между количеством информации и физической энтропией и в конечном счете определить сущность новой научной интерпретации понятия "информация" как меры структурной упорядоченности самых разнообразных по своей природе систем .
Используя метафору, можно сказать, что до введения в науку единой информационной количественной меры представленный в естественно-научных понятиях мир как бы "опирался на двух китов": энергию и вещество. "Третьим китом" оказалась теперь информация, участвующая во всех протекающих в мире процессах, начиная от микрочастиц, атомов и молекул и кончая функционированием сложнейших биологических и социальных систем.
Естественно, возникает вопрос: подтверждают или опровергают эволюционную парадигму происхождения жизни и биологических видов новейшие данные современной науки?
Для ответа на этот вопрос необходимо прежде всего уяснить, какие именно свойства и стороны многогранного понятия "информация" отражает та количественная мера, которую ввел в науку К.Шеннон.
Использование меры количества информации позволяет анализировать общие механизмы информационно-энтропийных взаимодействий, лежащих в основе всех самопроизвольно протекающих в окружающем мире процессов накопления информации, которые приводят к самоорганизации структуры систем.
Вместе с тем информационно-энтропийный анализ позволяет выявить и пробелы эволюционных концепций, представляющих собой не более чем несостоятельные попытки сведения к простым механизмам самоорганизации проблему происхождения жизни и биологических видов без учета того обстоятельства, что системы такого уровня сложности могут быть созданы лишь на основе той информации, которая изначально заложена в предшествующий их сотворению план.
Проводимые современной наукой исследования свойств информационных систем дают все основания утверждать, что все системы могут формироваться только согласно спускаемым с верхних иерархических уровней правилами, причем сами эти правила существовали раньше самих систем в форме изначального плана (идеи творения).

Понятие энтропии и информации

Энтропи́я (от греч. ἐντροπία — поворот, превращение) в естественных науках — мера беспорядка системы, состоящей из многих элементов. В частности, в статистической физике — мера вероятности осуществления какого-либо макроскопического состояния; в теории информации — мера неопределённости какого-либо опыта (испытания), который может иметь разные исходы, а значит и количество информации; в исторической науке, для экспликации феномена альтернативности истории (инвариантности и вариативности исторического процесса).

Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при обратимых процессах, тогда как в необратимых — её изменение всегда положительно.

где dS — приращение энтропии; δQ — минимальная теплота подведенная к системе; T — абсолютная температура процесса;

Информация (от лат. informatio, разъяснение, изложение, осведомленность) — общенаучное понятие, связанное с объективными свойствами материи и их отражением в человеческом сознании.

В современной науке рассматриваются два вида информации.

Объективная (первичная) информация - свойство материальных объектов и явлений (процессов) порождать многообразие состояний, которые посредством взаимодействий (фундаментальные взаимодействия) передаются другим объектам и запечатлеваются в их структуре.

Субъективная (семантическая,смысловая, вторичная) информация – смысловое содержание объективной информации об объектах и процессах материального мира, сформированное сознанием человека с помощью смысловых образов (слов, образов и ощущений) и зафиксированное на каком-либо материальном носителе.

В настоящее время не существует единого определения информации как научного термина. С точки зрения различных областей знания, данное понятие описывается своим специфическим набором признаков.

Основа информационной теории

В статистической физике с помощью вероятностной функции энтропии исследуются процессы, приводящие к термодинамическому равновесию, при котором все состояния молекул (их энергии, скорости) приближаются к равновероятным, а энтропия при этом стремится к максимальной величине.

Благодаря теории информации стало очевидно, что с помощью той же самой функции можно исследовать и такие далекие от состояния максимальной энтропии системы, как, например, письменный текст.
Еще один важный вывод заключается в том, что
с помощью вероятностной функции энтропии можно анализировать все стадии перехода системы от состояния полного хаоса, которому соответствуют равные значения вероятностей и максимальное значение энтропии, к состоянию предельной упорядоченности (жесткой детерминации), которому соответствует единственно возможное состояние ее элементов.

Данный вывод оказывается в равной мере справедливым для таких несходных по своей природе систем, как газы, кристаллы, письменные тексты, биологические организмы или сообщества и др.
При этом, если для газа или кристалла при вычислении энтропии сравнивается только микросостояние (т.е. состояние атомов и молекул) и макросостояние этих систем (т.е. газа или кристалла как целого), то для систем иной природы (биологических, интеллектуальных, социальных) вычисление энтропии может производится на том или ином произвольно выбранном уровне. При этом вычисляемое значение энтропии рассматриваемой системы и количество информации, характеризующей степень упорядоченности данной системы и равное разности между максимальным и реальным значением энтропии, будет зависеть от распределения вероятности состояний элементов нижележащего уровня, т.е. тех элементов, которые в своей совокупности образуют эти системы.
Другими словами,
количество сохраняемой в структуре системы информации пропорционально степени отклонения системы от состояния равновесия, обусловленного сохраняемым в структуре системы порядком.

Методы исчисления информации, предложенные Шенноном, позволяют выявить соотношение количества предсказуемой (то есть формируемой по определенным правилам) информации и количества той неожиданной информации, которую нельзя заранее предсказать.

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределѐнность появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка, встречаются очень редко, то неопределѐнность ещѐ более уменьшается.

Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

Информационная двоичная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:

Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

Определение по Шеннону

Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:

мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;
в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;
должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Поэтому функция энтропии H должна удовлетворять условиям:

определена и непрерывна для всех , где для всех и . (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита.)
Для целых положительных n, должно выполняться следующее неравенство:

Для целых положительных b_i, где , должно выполняться равенство:

Шеннон показал, [ источник? ] что единственная функция, удовлетворяющая этим требованиям, имеет вид:

где K — константа (и в действительности нужна только для выбора единиц измерения).

Шеннон определил, что измерение энтропии

Определение с помощью собственной информации

Также можно определить энтропию случайной величины, введя предварительно понятия распределения случайной величины X, имеющей конечное число значений:

и собственной информации:

Тогда энтропия определяется как:

От основания логарифма зависит единица измерения информации и энтропии: бит, трит, нат или хартли.

Свойства и эффективность

Некоторые биты данных могут не нести информации. Например, структуры данных часто хранят избыточную информацию, или имеют идентичные секции независимо от информации в структуре данных.
Количество энтропии не всегда выражается целым числом бит.

Математические свойства

Неотрицательность: .
Ограниченность: . Равенство, если все элементы из X равновероятны.
Если независимы, то .
Энтропия — выпуклая вверх функция распределения вероятностей элементов.
Если имеют одинаковое распределение вероятностей элементов, то H(X) = H(Y).

Энтропия ограничивает максимально возможное сжатие без потерь (или почти без потерь), которое может быть реализовано при использовании теоретически — типичного набора или, на практике, — кодирования Хаффмана, кодирования Лемпеля — Зива — Велча или арифметического кодирования.

Вариации и обобщения

b-арная энтропия

В общем случае b-арная энтропия (где b равно 2, 3, …) источника с исходным алфавитом и дискретным распределением вероятности где p_i является вероятностью a_i (p_i = p(a_i)), определяется формулой:

Условная энтропия

Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятности появления одной буквы после другой (то есть, вероятности двухбуквенных сочетаний):

где i — это состояние, зависящее от предшествующего символа, и p_i(j) — это вероятность j при условии, что i был предыдущим символом.

Документ из архива "Энтропия", который расположен в категории " ". Всё это находится в предмете "химия" из раздела "", которые можно найти в файловом архиве Студент. Не смотря на прямую связь этого архива с Студент, его также можно найти и в других разделах. Архив можно найти в разделе "рефераты, доклады и презентации", в предмете "химия" в общих файлах.

Онлайн просмотр документа "Реферат Энтропия"

Текст из документа "Реферат Энтропия"

Статистический смысл понятия энтропии…………………………4-5

Энтропия как мера степени неопределенности……………………5-6

Понятие об информации.

Негативное влияние информации……………………………………..8

Энергоинформационная (квантово-механическая) мера……..11

Теорема Шеннона о кодировании при наличии помех……………. 11-12

Пример использования энтропии в прогнозировании.

Ее значение для прогнозирования………………………………..12-14

Применение к рискам…………………………………………. …14-15

Предмет работы: энтропия и информация.

Цель работы: изучение энтропии и информации, а так же: какое применение имеют данные понятия к рискам.

В ходе данной работы предстоит решить несколько задач: рассмотрение понятия энтропии и информации, статистического и термодинамического смысла энтропии, так же определение данного понятия, как меры степени неопределенности, теоремы Шеннона о кодировании при наличии помех, использования энтропии в прогнозировании и применения энтропии к рискам.

Данная тема является злободневной, так как широко пользуются в физике, химии, биологии и теории информации. Клаузиузус первым же в 1865 году положил начало применению понятия энтропия на основе анализа тепловых машин. Трудно найти определения более общие для всех наук (не только естественных), чем энтропия и информация. Возможно, это связано с самими названиями. С тех пор энтропия многократно фигурировала в знаменитых спорах. Например, в исторической науке энтропия имеет не малое значение для объяснения экспликации феномена вариативности истории.

Существующему давно понятию “информация” , был придан математически точный смысл К.Шенноном. Это как приводило, так и приводит ко многим недоразумениям, поэтому очень важно уделить данному понятию должное внимание. Никакая информация, никакое знание не появляется сразу - этому предшествует этап накопления, осмысления, систематизации опытных данных, взглядов. Информация является общим компонентом для всех наук, она связывает между собой различные по характеру и содержанию науки, поэтому информационные процессы, которые изучаются информатикой, имеют место во многих предметных областях.

Нельзя ограничивать информационные процессы рамками вычислений и пассивного получения или преобразования информации. Эти процессы сложны и многообразны. Важно научить новое поколение это понимать. Информация не всегда связана с компьютером. Чаще всего именно человек активно ее обрабатывает. Умение в процессе обработки не только анализировать, но и синтезировать из отдельных крупинок информации целое - весьма ценное качество человека будущего.

Я согласна с необходимостью изучения понятия энтропии, синергетики, социальной информатики, эволюции и т.п.

Статистический смысл понятия энтропии.

Вероятностное толкование понятия энтропии было дано в статистической физике Людвигом Больцманом. Введем для начала понятие термодинамической вероятности (W). Термодинамическая вероятность означает число возможных неотличимых микроскопических состояний системы реализующих определенное макроскопическое состояние этой системы.

Б удем рассматривать простую систему всего из двух неотличимых молекул, которые находятся в некотором объеме. Мысленно разделим этот объем на две части, и, пронумеровав молекулы, найдем число способов, которым можно разместить их в этих двух частях.

ы можем увидеть, что всего 4 способа, но два нижних неотличимы, так как молекулы 1 и 2 совершенно одинаковы, и соответствуют одному и тому же макроскопическому состоянию системы. Таким образом, мы имеем три различных макроскопических состояния системы, два из которых (верхних) , реализуемых только одним способом, а третье, нижнее двумя. Число способов-термодинамическая вероятность W. Все четыре способа равновероятны, поэтому большую часть времени система будет находиться в третьем состоянии.

Мы рассматривали только 2 молекулы. Число способов размещения n молекул в двух частях объема равно 2 n , а число способов размещения всех молекул в одной половине объема равно 1. Энтропия термодинамического состояния системы определяется через термодинамическую вероятность:

S = k·lnW, где k – постоянная Больцмана. Данное выражение называется принципом Больцмана [2].

В статистической термодинамике энтропия так же характеризует меру беспорядка и хаоса.

Энтропия как мера степени неопределенности.

Существование неопределённости связано с участием вероятностей в осуществлении событий. Устранение неопределённости есть увеличение вероятности наступления того, что задано как цель. Поэтому вероятности должны участвовать в математической формулировке величины устранённой неопределённости.

Первая удачная попытка реализовать определение информации на такой основе осуществлена в 1928 г. Л. Хартли. Пусть возможно в данных условиях n вариантов некоторого результата. Целью является один из них. Хартли предложил характеризовать неопределённость логарифмом числа n [1].

Количественная мера s полученной информации (устранённой неопределённости)выражается логарифмом отношения вероятностей:

Есть один недостаток-это определение справедливо только в приближении равновероятности всех исходов. Это выполняется далеко не всегда. В пределе в этом определении невероятному исходу приравнивается неизбежный. В 1948 г. это исправил К. Шеннон.

В качестве меры априорной неопределенности системы (или прерывной случайной величины ) в теории информации применяется специальная характеристика, называемая энтропией. Понятие об энтропии является в теории информации основным.

Энтропией системы называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком:

. (18.2.2)

Энтропия обладает рядом свойств, которые оправдывают выбор данного понятия в качестве характеристики степени неопределенности. Во-первых, обращение энтропии в нуль объясняется достоверностью состояния системы при других-невозможных. Во-вторых, энтропия о бращается в максимум при равновероятности состояний, а при увеличении числа состояний - увеличивается. Главное: свойство аддитивности.

Энтропию дискретного опыта удобно находить как вес следующего графа:

Понятие об информации.

Понятие информации (informatio - разъяснение, осведомление, изложение) – это основное понятие не только в информатике (в информологии - области знаний, изучающей проявление информации, её представление, измерение и т.д.),но и в математике, в физике и др., плохо формализуется и структурируется. Из-за его объёмности, расплывчатости оно часто понимается неточно и неполно не только обучаемыми.

Информация может существовать в пассивной (не актуализированной) и активной (актуализированной) форме.

Информация по отношению к окружающей среде (или к использующей ее среде) бывает трех типов: входная, выходная и внутренняя.

Информация по отношению к конечному результату проблемы бывает: исходная (на начало актуализации этой информации); промежуточная (от начала до завершения актуализации информации); результирующая (после завершения её актуализации).

Информация по изменчивости при её актуализации бывает: постоянная (не изменяемая никогда при её актуализации); переменная (изменяемая при актуализации); смешанная - условно - постоянная (или условно-переменная).

Негативное влияние информации.

Информация может оказаться и вредной, влияющей негативно на сознание, например,воспитывающей восприятие мира от безразличного или же некритического - до негативного, "обозлённого", неадекватного. Информационный поток -достаточно сильный раздражитель.

Пример. Негативной информацией - раздражителем может быть информация о крахе коммерческого банка, о резком росте (спаде) валютного курса, об изменении налоговой политики и др. [5].

Пусть имеется N состояний системы S или N опытов с различными, равновозможными, последовательными состояниями системы. Наименьшее число, при котором это возможно, называется мерой разнообразия множества состояний системы и задается формулой Р. Хартли:

H=klogаN, где k - коэффициент пропорциональности (масштабирования, в зависимости от выбранной единицы измерения меры), а - основание системы меры. Если измерение ведется в экспоненциальной системе, то k=1, H=lnN (нат); если измерение было произведено в двоичной системе, то k=1/ln2, H=log2N (бит); если измерение было произведено в десятичной системе, то k=1/ln10, H=lgN (дит).

Пример. Чтобы узнать положение точки в системе из двух клеток т.е. получить некоторую информацию, необходимо задать 1 вопрос:

("Левая или правая клетка?").

Узнав положение точки, мы увеличиваем суммарную информацию о системе на 1 бит (I=log22). Для системы из четырех клеток необходимо задать 2 аналогичных вопроса, а информация равна 2 битам (I=log24). Если же система имеет n различных состояний, то

максимальное количество информации будет определяться по формуле: I=log2n.

Справедливо утверждение Хартли: если в некотором множестве X=

x2, . xn> необходимо выделить произвольный элемент xi X, то для того, чтобы выделить (найти) его, необходимо получить не менее logan (единиц) информации [4].

Шеннон вывел это определение энтропии из следующих предположений: мера должна быть непрерывной; т. е. изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение энтропии.

Шеннон показал, что любое определение энтропии, удовлетворяющее этим предположениям, должно быть в форме:

Функция "чтения" служит для ознакомления с работой. Разметка, таблицы и картинки документа могут отображаться неверно или не в полном объёме!

САРАТОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени Н.Г. Чернышевского

на тему: "Энтропия термодинамическая и информационная"

Выполнил: студент 521 группы физического факультета

Маляев Владимир Сергеевич

План реферата: Энтропия – энциклопедическое понятие3 Термодинамическое описание энтропии3 Энтропия и общество5 Информационный аспект7 Смысловая информация и бессмысленная8 Краткий вывод9 Список использованной литературы 10 Чтобы каким-либо образом описать упорядоченность любой системы, физикам необходимо было ввести величину, функцию состояния системы, которая бы описывала ее упорядоченность, степень и параметры порядка, самоорганизованность системы.

От греческого entropia -- поворот, превращение. Понятие энтропии впервые было введено в термодинамике для определения меры необратимого рассеяния энергии. Энтропия широко применяется и в других областях науки: в статистической физике как мера вероятности осуществления какого - либо макроскопического состояния; в теории информации - мера неопределенности какого-либо опыта (испытания), который может иметь разные исходы. Все эти трактовки энтропии имеют глубокую внутреннюю связь.

Энтропия — это функция состояния, то есть любому состоянию можно сопоставить вполне определенное (с точность до константы -- эта неопределенность убирается по договоренности, что при абсолютном нуле энтропия тоже равна нулю) значение энтропии.

Для обратимых (равновесных) процессов выполняется следующее математическое равенство (следствие так называемого равенства Клаузиуса)

Q - подведенная теплота,T - температура, A и B - состояния, SA и SB - энтропия, соответствующая этим состояниям (здесь рассматривается процесс перехода из состояния А в состояние В)

Для необратимых процессов выполняется неравенство, вытекающее из так называемого неравенства Клаузиуса

Поэтому энтропия адиабатически изолированной (нет подвода или отвода тепла) системы при необратимых процессах может только возрастать.

Используя понятие энтропии Клаузиус (1876) дал наиболее общую формулировку 2-го начала термодинамики: при реальных (необратимых) адиабатических процессах энтропия возрастает, достигая максимального значения в состоянии равновесия (2-ое начало термодинамики не является абсолютным, оно нарушается при флуктуациях).

Значит функция состояния, дифференциалом которой является Q/T, называется энтропией и обозначается обычно S.

Отметим, что справедливость этого выражения для полного дифференциала энтропии доказана выше лишь для обратимых процессов идеального газа.

Так же энтропия S определятся логарифмом числа микросостояний, посредством которых реализуется рассматриваемое макросостояние, т.е.

где k – постоянная Больцмана, Г - число микросостояний.

Энтропия системы в каком-либо обратимом процессе изменяется под влиянием внешних условий, воздействующих на систему. Механизм воздействия внешних условий на энтропию состоит в следующем. Внешние условия определяют микросостояния, доступные системе, и их число.

Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.

СОДЕРЖАНИЕ
Введение
§1. Понятие энтропии. Энтропия как мера степени неопределенности
§2. Понятие об информации. Измерение информации
§3. Теорема Шеннона о кодировании при наличии помех
§4. Пример использования энтропии в прогнозировании и ее значение для прогнозирования. Применение к рискам
Заключение
Список использованной литературы

Введение
Предметом работы является энтропия и информация. Целью данной работы является изучение энтропии, информации и применения данных понятий к рискам. Поставленная цель ставит решение следующих задач: рассмотрения понятия энтропии, статистического смысла данного понятия, энтропии как меры степени неопределенности, понятия об информации, теоремы Шеннона о кодировании при наличии помех, использования энтропии в прогнозировании и применения энтропии к рискам.
Данная тема актуальна, так как трудно найти понятия более общие для всех наук (не только естественных) и, вместе с тем, иногда носящих оттенок загадочности, чем энтропия и информация. Отчасти это связано с самими названиями. Если бы не звучное название “энтропия” осталась бы с момента первого рождения всего лишь “интегралом Клаузиуса”, вряд ли она бы не рождалась вновь и вновь в разных областях науки под одним именем. Кроме того, ее первооткрыватель Клаузиузус, первым же положил начало применению введенного им для, казалось бы узкоспециальных термодинамических целей понятия к глобальным космологическим проблемам (тепловая смерть Вселенной). С тех пор энтропия многократно фигурировала в оставшихся навсегда знаменитыми спорах. В настоящее время универсальный характер этого понятия общепризнан и она плодотворно используется во многих областях.
Термин “информация” замечателен тем, что, существующему с давних пор бытовому понятию, К.Шенноном был придан математически точный смысл. Неопределенно-бытовой смысл этого термина уже научного. Это приводило и приводит ко многим недоразумениям/ Данную тему опишем с помощью следующих методов: синтеза, анализа, индукции, дедукции, сравнения и расчетного метода.
Работа изложена на 26 страниц и состоит из четырех параграфов. В работе 1 таблица и 7 примеров.

Список используемой литературы
1. Дмитриев В.Н. Прикладная теория информации. М: Высшая школа,1989.
2. Колмогоров А.Н. Теория информации и теория алгоритмов.М:Наука,1987.
3. Колмогоров А.Н. Три подхода к определению понятия “количество информации” // Проблемы передачи информации. 1965. Т.1. №1.
4. Поплавский Р.П. Депон Максвелла и соотношения между информацией и энтропией // УФН. 1979. Т. 128. Вып. 1.
5. Хартли Р. Передача информации// Теория информации и ее приложения. М.: Физматгиз. 1959.
6. Шамбадаль П. Развитие и приложения понятия энтропии . М.: Наука, 1967 .
7. Яглом А.М., Яглом И.М. Вероятность и информация. М.: Наука, 1973.

Читайте также: