Илья Суцкивер, сооснователь и бывший главный научный сотрудник Openai, подтвердил: масштабирование больших языковых моделей на этапе предобучения (pre-training), достигло своего предела
Илья был первым, кто прогнозировал бесконечное развитие интеллекта через обучение на бесконечной дате. и вот, наконец, даже он признал
мощности растут, но реальных данных не хватает (мы скормили все, что человечество нагенерило в интернетах за всю свою историю). синтетические данные, которые генерируют другие LLM, существенного прироста не дают
так что, не видать нам AGI и суперинтеллект?
похоже, что экстенсивный рос закончен. дальше интенсификация
примерно то же, что с человеческим мозгом. когда-то он перестал расти в объёме, но мышление продолжило развиваться. теперь прогресс будет идти за счёт агентных систем
не тупо модели, которые лежат без дела и никого не трогают, пока их не спросят, а самостоятельные агенты с задачами и мотивацией. они смогут вызывать функции, принимать решения, действовать автономно
основные направления:
- обучение последовательностям и причинно-следственным связям
- агентное поведение
- развитие самосознания
примерно как айфон. железо уже давно не становится революционно мощнее, но приложения продолжают радовать новыми фишками
2025 год станет годом агентов. с чем нас всех поздравляю
@aimastersme