(Интересно, в какой это момент он переключился с предсказания конца света на рассуждения о масштабировании?)
Ну так вот: ученый утверждает, что скейлинг не может продолжаться, потому что данные свободного интернета уже исчерпаны, а все более ценные данные хранятся в закрытых контурах компаний.
Он ставит ставку на синтетику. Модели, по его мнению, должны сами генерировать себе данные для обучения в ходе рассуждений.
«Именно так AlphaGo научился побеждать человека, и именно так LLM могут научиться быть умнее людей»