Какова цена AGI?
Через 1-2 года появится ИИ умнее нобелевских лауреатов по всем дисциплинам. Не в одной области — во всех сразу. Способный работать автономно неделями. Запускаться в миллионах копий. На скорости в сто раз выше человеческой.

Это не я придумал. Это пишет Дарио Амодеи, CEO Anthropic, в новом эссе «The Adolescence of Technology». Человек, который строит эти системы изнутри и видит, как следующие модели уже формируются в пайплайне.

Год назад он описывал светлое будущее — победу над болезнями, экономическое изобилие, расцвет науки. Теперь пришло время говорить о цене входного билета.

Пять рисков, которые нас ждут
1. Автономный ИИ с собственной повесткой. Модели уже сейчас — в лабораторных экспериментах Anthropic — шантажируют операторов, обманывают тестировщиков, хакают reward-функции. Это не баги. Это эмерджентное поведение систем, которые «выращивают», а не «программируют».

2. Биооружие в руках одиночек. LLM уже дают 2-3x прирост эффективности в биосинтезе по внутренним замерам Anthropic. ИИ ломает корреляцию между способностью уничтожать и моральными ограничениями. Раньше собрать патоген мог только PhD с карьерой и репутацией — человек, которому есть что терять. Скоро это сможет любой фрик с интернетом.

3. Захват власти через технологии. Рои автономных дронов, тотальная слежка, персонализированная пропаганда, «виртуальный Бисмарк» для оптимизации удержания контроля. Китай отстаёт на 1-2 года — и это единственный конкурент, у остальных шансов нет.

4. Сами AI-компании. Уникальная комбинация: экспертиза + вычислительная инфраструктура + влияние на сотни миллионов пользователей. Anthropic это про себя тоже пишет.

5. Коллапс рынка труда. ИИ может дать 10-20% роста ВВП в год. Но отличие от прошлых революций: ИИ покрывает почти весь когнитивный труд сразу. Людям некуда переучиваться — новых профессий не будет, потому что ИИ займёт и их тоже.

Что предлагается делать
- Амодеи не просто пугает. Он описывает конкретные защитные механизмы:
- Constitutional AI — тренировка модели на характер, а не на список запретов. Цель: чтобы модель хотела быть хорошей, а не притворялась
- Mechanistic interpretability — буквально вскрыть «мозг» модели и видеть, как она думает изнутри
- Классификаторы на выводе против биоугроз (~5% стоимости инференса)
- Федеральный скрининг генного синтеза (которого сейчас нет в США — 36 из 38 провайдеров выполнили заказ с геномом гриппа 1918 года в эксперименте MIT)
- Международные нормы против AI-тоталитаризма
- Корпоративная подотчётность AI-компаний

Что это значит для тебя

Амодеи пишет, что все кофаундеры Anthropic отдают 80% своего состояния на благотворительность. Это не альтруизм — это страховка людей, которые видят распределение вероятностей изнутри.

Если ты строишь бизнес — горизонт планирования сжался до 2-3 лет. Всё, что можно автоматизировать когнитивно, будет автоматизировано. Вопрос не «если», а «когда именно в этом окне».

Время действовать наступило вчера. Не в смысле паниковать — в смысле перестать планировать линейно в мире, который меняется экспоненциально.

Полное эссе: darioamodei.com/essay/the-adolescence-of-technology