7 7 7 7 7 7 7 7

впечатляет? мало кто бы впечатлился списком повторений одной цифры...

q X 8 ? z 1 @ m

а так? тоже бредик, просто бессмысленный шум

1 2 4 8 16 32 ...

а тут сначала правило может быть неясно, потом ты обнаруживаешь ×2. И вот в этот момент возникает большой, цитата, compression progress.

Статья "Driven by compression progress"(2008г) пытается объяснить целую пачку человеческих когнитивных явлений через одну функцию внутренней награды 💀

Условно есть наблюдатель с моделью мира. Он получает внешние данные и пытается их предсказывать или сжимать. Если после обучения те же данные становятся проще описываемыми или лучше предсказуемыми, произошел compression progress. И именно этот прогресс становится внутренней наградой.

Через один и тот же принцип автор пытается связать сразу много вещей: любопытство как поиск того, где модель еще может улучшиться, интерес как сам процесс этого улучшения, скуку как отсутствие дальнейшего прогресса, красоту как хорошо сжимаемую структуру, внимание как выбор того, где ожидается наибольший прогресс обучения, а творчество как создание новых структур, в которых еще можно что-то открыть.

Чем же мы тогда отличаемся от ллмок, друзья? 😭