Воспитание модели, симуляции реальности и пределы вычислимого. Что отделяет нас от AGI?
🎙 Открытый подкаст с Анастасией Макаровой в партнерстве с Физтех-Союзом🏫
📅 17 мая, 19:00 (Мск) [календарь]
📍 Online (Zoom)
✔️ Регистрируйтесь, чтобы послушать живую дискуссию и задать вопрос➡️ @Cherniagina_bot
🦸♀️ Герой нового выпуска — Анастасия Макарова (LinkedIn), ФУПМ МФТИ, ETH Zürich PhD, ex-Amazon, Research Engineer в команде post-training Gemini в Google DeepMind. Лауреат best paper award первой AutoML-конференции (Amazon, 2022)
Что стоит знать перед эпизодом:
Gemini — одна из трёх моделей-фронтиров , которые сейчас определяют, что вообще умеет ИИ (другие две — OpenAI/ChatGPT, Anthropic/Claude). Под капотом у неё не только архитектура и данные, но и post-training — этап, на котором модель учат через обратную связь от человека (RLHF, reinforcement learning from human feedback). Это та работа, которая определяет, как модель отвечает: будет ли она поддакивать, признавать неуверенность, отказываться от вредных запросов.
Анастасия работает в команде, которая занимается именно этим. До DeepMind она почти шесть лет провела в ETH Zürich, защитив PhD под руководством Андреаса Краузе по байесовской оптимизации и активному обучению — тема, прямо связанная с тем, как заставить модель честно сообщать о своей неуверенности. Это одна из главных нерешённых проблем на пути к AGI.
Параллельно с Gemini в DeepMind развиваются ещё два больших проекта — Genie, генеративная модель, которая на лету создаёт интерактивные 3D-миры с физикой и причинно-следственными связями, и SIMA, AI-агент, который умеет действовать в произвольных виртуальных средах по командам на естественном языке. Когда эти два проекта соединяют в один цикл — Genie генерирует мир, SIMA в нём действует, Genie реагирует — получается система, в которой два AI обучают друг друга без участия человека. Это и есть «симуляции реальности».
Глава DeepMind Демис Хассабис в недавнем подкасте назвал три ключевые missing piece до AGI: (i) модели не знают, чего они не знают; (ii) они не учатся после деплоя; и (iii) ещё не умеют достаточно надёжно строить world models — внутренние симуляции реальности. Анастасия работает на пересечении первых двух тем.
Чтобы не пересказывать в подкасте основы, прикрепляю свежий разговор Хассабиса с Ханной Фрай — там он за час объясняет, где сейчас находится фронтир AI и что отделяет нас от AGI 🎞 [ оргинал | с переводом ]
🗣️ О чём поговорим:
— Что значит «исследование» в индустриальной AI-лаборатории? Где в ML заканчивается инженерия и начинается наука?
— Sycophancy (подхалимство), галлюцинации, характер модели — что из этого формируется на уровне post-training, а что заложено в фундаментальной модели? И не убивает ли «воспитание» что-то ценное?
— Genie тренирует SIMA, SIMA тренирует Genie: когда AI начнёт обучаться в мирах, созданных другими AI — и какое место в этом цикле останется человеку?
— Пределы вычислимого: есть ли в природе процессы, которые классическая машина не сможет воспроизвести в принципе? И если есть — это и есть то, что отделяет нас от AGI?
t.me/cherniagina