State of AI 2024 от N.Benaich, часть 2, а ч. 1 тут

II. ИНДУСТРИЯ
- Databricks и Snowflake свои LLM сделали для in-house use by enterprises. Цены LLM по API упали за год в 100x у OpenAI и 60x у Anthropic, но все бигтехи мечтают о продуктизации. Mistral пока не догнала амерские AI labs
- Антимонопольщики начали поглядывать на связи OpenAI/MSFT и Anthropic с Amazon & Google + делать fake acquistions (типа Adept/David Luan или Inflection/Мустафа Сулейман)
- Конкуренты Github Copilot подняли $1.5 млрд. Узкие tools/frameworks не успевают раскрутиться, а их уже как фичи влепили hyperscalers (e.g. векторные БД). Но AI search (Perplexity) вроде что-то нащупывает
- По копирайтам пока непонятно, но OpenAI и Nvidia давно напарсили миллионы Youtube видео. Суды оч. сужают требования авторов, будем ждать итоги

Self-driving: растят города для тестовых поездок
Гуманоиодные роботы: Figure, Sanctuary, 1X подняли $1 млрд в тч от бигтехов

- Из главных лаб шли уходы людей пилить свои стартапы, но сложно (H подняли $220 млн и сходу распались - Тиль прав?)
- Text2speech рулит (ElevenLabs). AI-first продукты начали показывать stickiness в enterprises (GPT, Grammarly, Anthropic, Midjourney, Otter). У юристов genAI проникает. Что будет в speech2speech?
- В видео 3 стартапа борются с OpenAI: Runway, Pika, Luma, подняли $500 млн

- Инвестиции в AI в 2024: $85 млрд (из них 2/3 genAI, а по гео - $56 млрд US и $8 в Китае). 70% пошло на раунды свыше $250 млн, т.е. в 50 компаний из тысяч стартапов. Для VС-funded AI стартапов сектора больше в robotics, enterprise software, space, security
- Частных AI фирм на $2.2 трлн капитализации, а публичных на $6.7 трлн (там $3 трлн Nvidia?), в 2020 в 3x меньше.
- IPO рынок мертв 3ий год

III. ПОЛИТИКА
- EU AI Act приняли в оч жесткой версии, бигтехи в тч Apple, Claude итп не сразу выкатывают в EU свои AI продукты. UK вырабатывает регуляции. Китай требует отправлять результаты тестов на десятки тыс вопросов для принятия решения о разрешении какой-либо модели
- Санкции США растут дальше, но не затормозили LLM Китая (в тч опенсорс DeepSeek, 01.AI Кай Фу Ли, Zhipu AI, Alibaba) и у них есть фанаты по миру. CHIPS Act сработал, первый завод TSMC в US начинает работу
- GPU кластеры бигтехов в десятки раз больше чем в универах и у властей
- Бигтехи в США уткнулись в физические ограничения скорости ввода электрогенерации: Meta хочет датацентр на 1 гигаватт, а msft/openAI суперкомп за $100 млрд и 5 гигаватт энергии (1 блок АЭС ~1 гигаватт)
- Anduril идет в автономию для оборонки, в EU тоже есть игроки
- Идут дискуссии как AI повляет на мировую экономику

IV. БЕЗОПАСНОСТЬ
- От уничтожения человечества разворот к “а как нам увеличить выручку от enterprises?” =). Но Sutskever итп ушли делать свой, "более безопасный AI" =)
- В UK власти сделали AI Safety Institute (AISI) - это наследие effective altruists? =))) Изучать риски хаков, jailbraking, биотерроризма. Прочие страны стали копировать подходы UK и сетапить рисеч институты о безопасности своих инфраструктур
- Проблемы нестабильности genAI моделей остаются, что резко тормозит их применение в реальном мире. RLHF пока сфера рисеча, непонятно. Улучшение LLM за счет LLM тоже пока зона неизвестного
- Anthropic стали юзать sparse autoencoders в попытках добавить interpretabilty LLM. Это полезно для выявления harmless prompts, но и одновременно злонамеренные акторы получают инструменты для атак

V. Прогнозы на 2025ый
1. $10 млрд госинвестиция из-за рубежа в какую-то из US AI labs потребует одобрения от national security
2. Кто-то не умеющий прогать сделает топ100 апп
3. Лабы начнут улучшать практики сбора данных по мере судов
4. EU AI Act смягчат тк поймут что перегнули
5. Запилят опенсорс версию o1 (агент, RL) которая побьет OpenAI
6. Nvidia пока останется на коне
7. Инвестиции в человекоподобные роботы снизятся тк у компаний будут сложности с product-market fit
8. Apple своими рисечами вдохновит других на индивидуальные AI девайсы
9. Статья от AI scientist попадет на топ конфу
10. Выстрелит игра про интеракцию с genAI элементами