Свойства энтропии: энтропия является аддитивной величиной; энтропия - есть функция состояния макросистемы; энтропия изолированной системы при протекании необратимых процессов возрастает; энтропия макросистемы, находящейся в равновесном состоянии, максимальна.
Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Например, в последовательности букв, составляющих какое-либо
предложение на русском языке, разные буквы появляются с разной частотой,
поэтому неопределённость появления для некоторых букв меньше, чем для
других. Если же учесть, что некоторые сочетания букв (в этом случае
говорят об энтропии n-ого порядка, см. ниже) встречаются очень редко, то неопределённость ещё более уменьшается.
Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла.
Концепции информации и энтропии имеют глубокие связи друг с другом, но,
несмотря на это, разработка теорий в статистической механике и теории
информации заняла много лет, чтобы сделать их соответствующими друг
другу.
Энтропия — это количество информации, приходящейся на одно
элементарное сообщение источника, вырабатывающего статистически
независимые сообщения.
|