Вчера на мероприятии для инженеров в сфере ИИ, Грег Брокман, президент OpenAI согласился с позицией Яна Лекуна и Google, заявив, что для следующих моделей GPT нужны фундаментальные исследования в ИИ.
Ещё в декабре 2024 Илья Суцкевер публично сказал, что настал конец эпохи предобучения.
Когда Грега спросили о проблемах масштабирования следующих GPT-моделей, он ответил: "Фундаментальные исследования возвращаются" - намекая на то, что простое увеличение размера моделей достигло своих пределов и нужны новые научные прорывы.
То есть для создания более мощных и эффективных моделей следующего поколения нужно углубляться в теоретические основы ИИ, искать новые идеи и решения, а не полагаться только на масштабирование текущих методов.
Это согласуется с тем, что говорят Лекун и Google: для достижения AGI или создания более способных ИИ-агентов нужны новые архитектуры и подходы, которые позволят ИИ глубже понимать реальность, а не только обрабатывать данные.
О будущем инфраструктуры. На вопрос о необходимой инфраструктуре для долгосрочных вычислений и масштабирования ИИ, Грег говорил о переходе к «зоопарку различных моделей, где модели вызывают другие модели».
Что будет дальше?
😊 Специализированные модели для разных задач
😊 «Зоопарк моделей» - системы из множества взаимодействующих ИИ
😊 Новые способы обучения и архитектуры.
😊 Упор на практическое применение, а не размер.
GPT не исчезнут, но:
➡️ GPT-5, 6, 7... могут не дать такого же скачка как GPT-3→GPT-4
➡️ Прорывы будут в других направлениях (мультимодальность, рассуждения, агенты)
➡️ Отрасль переходит от "гонки параметров" к "гонке идей".
😁😁😁😁😁😁😁😁😁😁Minds 👨💻 | Waves 🧐 | Pulse 🤑