7-ой ежегодный отчет State of AI 2024 от Nathan Benaich/Air Street VC. Он давно классно собирает big picture, аккуратен и оч бизнесовый

Часть 1:

Его термины: AI - любая intelligence не у людей/животных, AGI - что-то круче людей по всем когнитивным способностям по economically valuable tasks

Обзор делает его прогнозов 2023 года =)
- GenAI для VFX уровня Голливуда - угадали
- GenAI фирма попадет под следствие из-за выборов - мимо
- Self-improving агент побьет SoTA в каком-то окружении - пока не
- IPO оживут и будет big AI IPO - ждут конца 2024го ((
- Появится модель на $1 млрд тренинга - ждем еще годек )
- По AI governance будет мало прогресса - угадали
- Фининституты начнут давать кредиты на GPU вместо дорогих денег от VC - мимо
- AI песня попадет в топ чартов - да, Heart on My Sleeve
- Большая AI компания пойдет в чипы для inference - бигтехи давно, OpenAI - анонс дали

I. RESEARCH
- LLM догнали OpenAI (конвергенция состоялась, в тч llama3 догнала closed source models), но те релизнули o1 (в 3-4 раза дороже) - и терь все за planning и reasoning гонятся. И в нишах математики итп suprisingly strong results, но это, естественно, не опенсорс как в обычном софте, а рандомные раскрытия или нет весов, лицензий, данных итп
- Foundation models показывают что можно и в прочих НЕ языках создать value: math, биология, геномика, физика итп, нейронауки
- Как давно и предупреждали, утечки вопросов в тесты ставят вопросы о том, насколько вообще адекватен бенчмаркинг. RAG бенчмаркать пока не научились
- AlphaGeometry (symbolic deduction engine) от DeepMind сделала 25 из 30 задач олимпиадного уровня/уровеньь gold для людей
- LLM научились уменьшать в разы (в тч за счет квантизации, полезно на устройствах будет) без особых потерь в метриках. Карпаты говорит размеры моделей говорят о не эффективности подходов к обучению
- Трансформеры варьируют/hybrid models с attention, но хз куда вырулит. 74% моделей трансформеры + 22% RNN = 96%, 4% прочее
-Перспективы synthetic data для трансформеров сейчас не так оптимистичны как ранее. Вышел 15 трлн токенов датасет от hugging face (96 датасетов). Но data curation может снизить затраты на обучение (кажется это сделали Кай Фу Ли, не?)
- Опенсорсная Molmo от Allen Institute не хуже проприетарной gpt-4o
- Ну про Stable Video Diffusion все слышали ) А мета добавила в свою Movie Gen сетку еще и сразу озвучивание
- LLM сосут в simulations и planning. Все пробуют какие-то сочетания с RL
- Stable Diffusion стали осваивать пространственные ограничения 3d мира
- Все передовые лабы (стартапы + бигтехи) срезали масштабы публикации статей впервые за 7 лет, академия догнала. США 30%, Китай 22%, EU 23%

Биология
- AlphaFold вышла версия 3, получше, но уже не опенсорс. Baidu выдали HelixFold3, Chai-1 на деньги OpenAI итп. DeepMind вышли из стелса с AlphaProteo. Meta прибила EvolutionaryScale, но выходцы продолжили сами, выпустили ESM3 (sequences, structures and functions of proteins одновременно, не просто sequences)
- Бигфарма пробует запилить тест Polaris - benchmarking platform for AI-driven drug discovery (!)
- Пилится некая модель для fMRI/заход на BCI

Материалы
- Пилят трансформер по Materials Project Trajectory dataset - with millions of structures, energies, magnetic moments, forces, stresses

Роботы
- OpenAI вернулись к теме, а DeepMind лидеры с их AutoRT (VLM for environmental understanding + LLM to suggest a list of creative tasks the robot could carry out). HuggingFace добавили LeRobot

II. ИНДУСТРИЯ
- Nvidia выручка $30 млрд в квартал, AMD $6, Intel $12. Если в 2016ом вложиться в стартапы по чипам для ML (Groq, Cerebras итп), то было бы 5x, а Nvidia с тех пор 20x
- Все бигтехи и фигачат кластеры, связь внутри них, итп, и свои чипы начали пилить типа как гугл давно TPU - все устали от маржи Nvidia
- SoftBank когда-то экзитнул из своей инвестиции в Nvidia, а сейчас опять собирает пачку компаний (Arm, Graphcore) чтобы зачелленджить Nvidia
- Санкции США работают - Китай уже не 20% продаж Nvidia как раньше. Но обход санкций по GPU тоже наладили

Часть 2 тут