Ответы на вопрос:
энтропия — мера неопределенности случайного состояния некоторой системы. мы рассматриваем информационные системы, т.е. системы, воспринимающие, хранящие, перерабатывающие и использующие информацию. нормальное функционирование подобных систем — это прием-передача информационных сообщений. при получении сообщения неопределенность, т.е. мера «незнания», уменьшается или вовсе устраняется. таким образом, энтропия может служить информационной характеристикой количества информации, устраненной при получении сообщения.
для целей теории информации мы определим энтропию как среднее количество информации, приходящееся на одно сообщение в ансамбле сообщений (или на один символ в отдельном сообщении). иначе говоря, энтропия — это ожидание количества информации в сообщении.
пусть информационная система может порождать ансамбль (алфавит) сообщений аг, а2, ат. вероятности каждого сообщения следующие: р(а{), р(а2), р(аш). так как вероятности сообщений не одинаковы, то они несут разное количество информации, определяемое формулой шеннона:
среднее количество информации ( ожидание количества информации) ансамбля сообщений вычисляется по известной формуле:
совершенно аналогично вводится энтропия сообщений:
энтропия не зависит от конкретного сообщения. это характеристика информационной системы (источника, приемника сообщений или канала передачи сообщений). энтропия в таком виде является априорной характеристикой и может быть вычислена до эксперимента, если известны вероятностные характеристики сообщений. энтропия характеризует неопределенность ситуации до передачи сообщения, поскольку заранее неизвестно, какое сообщение из ансамбля будет передано. чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника. сравнивая формулы (2.8) и (2.6) видим, что / = п • я.
Реши свою проблему, спроси otvet5GPT
-
Быстро
Мгновенный ответ на твой вопрос -
Точно
Бот обладает знаниями во всех сферах -
Бесплатно
Задай вопрос и получи ответ бесплатно
Популярно: Химия
-
likarabigba11.07.2021 04:38
-
рамика207.11.2020 02:57
-
vipmurlyan31.07.2022 11:34
-
amozgaleva9619.12.2020 19:52
-
Машка415522.06.2023 13:46
-
PaPaDeDa31.08.2021 22:43
-
anutik411.07.2021 23:43
-
ustishca29.04.2022 15:49
-
0p3n22.12.2020 10:02
-
Arai5419.12.2020 05:07
Есть вопросы?
-
Как otvet5GPT работает?
otvet5GPT использует большую языковую модель вместе с базой данных GPT для обеспечения высококачественных образовательных результатов. otvet5GPT действует как доступный академический ресурс вне класса. -
Сколько это стоит?
Проект находиться на стадии тестирования и все услуги бесплатны. -
Могу ли я использовать otvet5GPT в школе?
Конечно! Нейросеть может помочь вам делать конспекты лекций, придумывать идеи в классе и многое другое! -
В чем отличия от ChatGPT?
otvet5GPT черпает академические источники из собственной базы данных и предназначен специально для студентов. otvet5GPT также адаптируется к вашему стилю письма, предоставляя ряд образовательных инструментов, предназначенных для улучшения обучения.