Экзаменационные Билеты
Меню
Поиск
Главная » Статьи » Мои статьи

Билет 10
Свойства энтропии:     
энтропия является аддитивной величиной;
энтропия - есть функция состояния макросистемы;
энтропия изолированной системы при протекании необратимых процессов возрастает;
энтропия макросистемы, находящейся в равновесном состоянии, максимальна.

Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка, см. ниже) встречаются очень редко, то неопределённость ещё более уменьшается.

Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.


Категория: Мои статьи | Добавил: aDr3naL1n (02.02.2011)
Просмотров: 412 | Рейтинг: 0.0/0
Всего комментариев: 0
Имя *:
Email *:
Код *:
опрос
Оцените мой сайт
Всего ответов: 193
Друзья сайта
  • Официальный блог
  • Сообщество uCoz
  • FAQ по системе
  • Инструкции для uCoz
  • murclub.ruСделать бесплатный сайт с uCoz