Начнем с того, что ключевая работа про информацию — Математическая теория коммуникации Шеннона — была написана в 1948 году. До этого никто передачу информации как математическую задачу не рассматривал. Одним из ключевых свойств этой теории — предсказание последующего символа/слова/предложения/образа на основе предыдущих, а также теории вероятности. Самый простой пример — T9 в телефоне, который прямо сейчас предлагает мне после слова “слово“: “в — России — в — этом — году“. Просто потому что именно такие последовательности чаще всего встречаются в корпусе текстов на русском языке.