P.S. Читаю сейчас лекции по теории информации, и сегодня студенты в листочках обратной связи написали, что хотелось бы больше примеров из реальной жизни. Да, согласен, это то, что мне не совсем нравится практически во всех книгах по теории информации - сама область предполагает практику, это же не абстрактная математика. Но написаны эти все книги очень абстрактно, выхолощенно.

А в биографиях пионеров информатики поражает, насколько они шли "от земли", от конкретных задач. Взять вот ту же теорию информации и основополагающие работы Клода Шеннона (тоже 1940-е) - они ведь написаны по-другому, от тогдашних потребностей науки о передаче информации, от реальных средств связи (телефон, телеграф) и статистических свойств разных языков. Я даже когда-то пытался и основные теоремы давать в формулировке Шеннона, а не в более поздних: именно потому что в них лучше просвечивает связь с тогдашней практикой. Наверное, это то, чего сейчас не хватает нам - академическим исследователям.

А раздел я сейчас читаю - "Сжатие данных с потерями". Это же очень практическая область! Взял даже с полки коллеги книгу "Digital communication" - казалось бы, название связано с практикой. Но нет, и там теория информации даётся так же абстрактно, в том числе этот раздел.

Придётся по другим источникам изучить что-то: форматы JPEG, MP3, без углубления в специфические подробности, но чтоб проиллюстрировать, как работают принципы теории информации.