Теория информации

Введение

1 Сигналы и помехи в системах передачи информации

2 Информационные характеристики цифровых сигналов

2.1 Собственная информация. Взаимная информация

2.2 Средняя собственная информация (энтропия)

2.3 Средняя взаимная информация

2.4 Информационные характеристики случайных последовательностей

3 Информационные характеристики аналоговых сигналов

3.1 Взаимная информация

3.2 Относительная (дифференциальная) энтропия

3.3 Информационные характеристики непрерывных случайных функций

4 Кодирование. Пропускная способность канала

4.1 Основные определения. Пропускная способность канала

4.2 Кодирование в дискретных каналах без шума

4.3 Кодирование в дискретном канале с шумом

5 Другие меры информации

5.1 Информация по Кульбаку

5.2 Информация по Фишеру

6 Индивидуальные задания №1 и №2

7 Вопросы для самопроверки по курсу

8 Список рекомендуемой литературы

Приложения