Содержание
- Введение
- 1. Понятие количества информации и комбинаторный подход Хартли
- 1.1. Сообщение и множество возможных исходов
- 1.2. Логарифмическая мера Хартли и равновозможные варианты
- 2. Вероятностная мера Шеннона и информационная энтропия
- 2.1. Вероятности сообщений и неопределённость
- 2.2. Формула энтропии и её применение к оценке сообщений
- 3. Сопоставление подходов Хартли и Шеннона и их применение
- 3.1. Общие основания и различия информационных мер
- 3.2. Сопоставление формул и применение к оценке информации
- Заключение
- Список литературы
Введение
Количественная оценка информации зависит от того, что именно принимается за исходные данные: число возможных вариантов или вероятности отдельных сообщений. Различие этих оснований особенно заметно при сопоставлении меры Хартли и энтропии Шеннона. Обе модели используют логарифмическое представление и позволяют выражать информационные характеристики количественно, однако отвечают на разные вопросы. Мера Хартли описывает выбор из равновозможных вариантов, тогда как подход Шеннона учитывает распределение вероятностей и связывает энтропию с неопределённостью. Разграничение этих понятий необходимо, чтобы правильно интерпретировать результат расчёта и выбирать формулу в задачах теории информации.
Список литературы
- Осокин, А. Теория информации : учебное пособие для СПО / А. Осокин, А. Мальчуков. — Москва : Юрайт, 2019. — 206 с. — ISBN 9785041641917.
- Мальчуков, А. Теория информации : учебное пособие для прикладного бакалавриата / А. Мальчуков, А. Осокин. — Москва : Юрайт, 2016. — 206 с. — ISBN 9785040280070.
- Приходько, А. И. Теория информации. Лабораторный : практикум в MATLAB / А. И. Приходько. — [Б. м.] : [б. и.], 2022. — 108 с. — ISBN 9785044569119.
- Лукин, Е. С. Прикладная теория информации : учебное пособие для студентов специальности «Информатика» / Е. С. Лукин. — 2002. — URL: https://libeldoc.bsuir.by/handle/123456789/5654.
- Луценко, Е. В. Конструирование информационной меры уровня системности (эмерджентночти) систем с учётом взаимосвязи базовых элементов в подсистемах / Е. В. Луценко, Н. С. Головин // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. — 2024. — № 203. — URL: https://cyberleninka.ru/article/n/konstruirovanie-informatsionnoy-mery-urovnya-sistemnosti-emerdzhentnochti-sistem-s-uchyotom-vzaimosvyazi-bazovyh-elementov-v.
…и ещё 1 источник в полной версии работы
