— А я говорил!

Возможно, настоящая архитектура LLM достигла потолка, о котором предупреждал Ян Лекун. Сам Ян работает над ИИ в Мете и говорил, что наращивание объема данных для тренировки моделей не даст существенного прироста в когнитивных способностях модели.

Деятели индустрии с ним не соглашались. Даже в интервью Лексу Фридману CEO Anthropic, создателей лучшей модели для программирования, сказал, что конечно надо продолжать тренировать на возрастающем объеме данных.

Однако Илья Суцкевер, выходец из OpenAI, недавно подтвердил, что текущая технология вышла на плато и роста ума от роста данных больше не наблюдается.

Что это значит?

Точно не значит смерть ИИ, но возможно значит замедление. Даже если текущая архитектура сетей Трансформер вышла на плато — это не дает гарантии, что нельзя придумать другую архитектуру. Точно так же можно продолжать оптимизировать скорость и эффективность текущей модели, а так же исследовать prompt engineering.

Ждем новостей, а деду — заслуженное дедово «а я говориииил, говнюки».