Новый вайб-проект от Андрея Карпаты: проверяем, какие предсказания из 2015 сбылись

Исследователь провел маленький, но очень занятный эксперимент. Он взял 930 фронтпейдж-тредов Hacker News за декабрь 2015 года (посты + комментарии) и прогнал их через GPT-5.1 Thinking с задачей «оценить задним числом и определить, какие прогнозы были наиболее правдивыми».

В итоге 3 часа вайбкодинга, 60 долларов и вуаля: получилась система, которая ранжирует прогнозы по правдивости, исходя из того, что происходит спустя 10 лет.

Кому интересно, посмотреть результаты можно здесь, местами очень забавно.

Но проект, вообще-то, интересен еще и с теоретической точки зрения. Как пишет и сам автор, такой In-hindsight анализ = инструмент обучения предсказательному мышлению.

Если LLM может систематически разбирать, почему одни прогнозы переживают 10 лет, а другие нет, то это можно использовать для обучения моделей самостоятельно предсказывать будущее.

Тогда получается, что каждый ваш (или чей-то еще) коммент или пост в интернете – это своего рода future-labeled sample, у которого спустя время появится «правильный ответ», сбылось/не сбылось/было чушью. А какая-нибудь будущая модель, увидев много-много таких обучающих сигналов, научится надежно понимать, как приходить к статистически сбывающимся предсказаниям и тогда… 🤯

Ну, в общем, как когда-то сказал Карпаты:
Be good. Future LLMs are watching.

Код | Блогпост