Возвращение к истокам
До всех этих модных LLM у нас были старые добрые цепи Маркова, которые умеют предсказывать следующее слово в предложении на основе нескольких предыдущих. Никаких умных алгоритмов и размышлений, чистая статистика.

Текст, который получается в результате такой генерации, воображение не поражает, но зачастую получается довольно забавным.

💬 Британский разработчик Сусам Пал написал простую программу из 30 строк, которой скормил посты из своего блога за 20 с лишним лет — в сумме почти 200к слов. На основе этих данных программа генерит тексты: смотрит на два слова, идущих друг за другом, и дописывает третье, которое с наибольшей вероятностью должно идти следом.

Если увеличить число слов, на которые опирается алгоритм, то текст получается почти связный. Автор выложил код на GitHub, так что при желании можно поэкспериментировать самостоятельно. Строго говоря, это не только развлечение, но и возможность разобраться, как на самом простом уровне работает генерация текстов.