Основатель Surge AI про дофамин, тайминг AGI и нужны ли люди?

Интересные тезисы присутствуют и есть реакция самого ведущего который тригерится на то, что Чен не отвечает стандартно на некоторые вопросы или отвечает по-своему.

Например про тайминг AGI Чен говорит, что это займет десятилетия и люди будут нужны еще долго как эксперты и асессоры повышающие точность результатов за счет синергии и конвергенции. При этом ведущий переключается к тезису - типа ок теперь еще больше причин переживать за AGI. Короче он там несколько раз по сути полностью противоречит мыслям своего гостя и подает совсем не те переходы между вопросами, которые должны были бы быть. Это не критично, но некоторым кто совсем не шарит это будет помехой.

Кос - конвергенция ИИ, agi tf, rl, cмоделированные "грязные" миры

https://www.youtube.com/watch?v=dduQeaqmpnI

Эдвин Чен — основатель и генеральный директор Surge AI, компании, которая предоставляет лабораториям высококачественные данные, среды и возможности для оценки. В прошлом году выручка Surge превысила 1 миллиард долларов при штате менее 100 сотрудников. Без венчурного капитала, это самая быстрая компания в истории, достигшая этого рубежа. До основания Surge Эдвин работал научным сотрудником в Google, Facebook и Twitter, а также изучал математику, информатику и лингвистику в Массачусетском технологическом институте.

Surge AI не привлекала венчурных денег с момента своего основания до недавнего времени, предпочитая модель самофинансирования. Однако, на фоне бурного роста рынка генеративного ИИ и необходимости масштабной конкуренции, компания впервые в своей истории начала процесс привлечения крупных венчурных инвестиций. Компания была прибыльной, что является редкостью для стартапов, работающих без венчурных инвестиций. Этот успех, достигнутый за счет органического роста и крупной выручки (более $1 млрд в 2024 году, по некоторым источникам), позиционировал компанию как "вызов" стандартным правилам Кремниевой долины.

Короткие тезисы своими словами пересказываю:

1 Мы учим модели гоняться за дофамином, а не за правдой (в контексте что пора переосмысливать качественные метрики и уходить от догмы гонки только за размер байта на внимания или рынок рекламы)

2 Пост обучение — это искусство, а не наука

3 Показатели не работают — модели получают золотые медали IMO, но не могут анализировать PDF-файлы. LM Arena вознаграждает эмодзи выше точности.

4 AGI появится через десятилетия, 80% автоматизации произойдет за 2 года, но переход от 80 к 90 к 99% занимает экспоненциально больше времени. Люди все еще будут нужны как эксперты или асессоры или даже как «полигон случайных» данных.

5 На очереди RL c реальными и грязными данными (например симуляция AWS сбоя. "Грязные миры" означают, что симуляция включает в себя несовершенства, непредсказуемость, отказы и неоднозначность) которые учат реальному рассуждению.

6 Анти-венчурная стратегия выхода работает - бутстрэппинг на $1 млрд доказывает, что можно победить качеством в 10 раз лучше, а не предлагая схемы финансирования и стандартные подходы к росту.