Мрачные времена - зачем нас пугают?

В прошлом месяце Dario Amodei - CEO Anthropic написал эссе The Adolescence of Technology.

Если кратко, то Дарио Амодей утверждает, что человечество вступает в критический "переходный возраст" - период турбулентности, сравнимый с подростковым кризисом. Мы находимся в паре лет от создания "мощного AI" (Powerful AI), которое создаст риски, с которыми могут не справиться социальные и политические институты.

Определение "Мощного AI"
Амодей определяет его как систему, которая по чистому интеллекту превосходит лауреата Нобелевской премии в большинстве областей и способна действовать автономно для достижения сложных целей. Он прогнозирует появление таких систем уже к 2026–2027 годам. На мой взгляд пока вообще не очевидно и ни разу не было продемонстрировано, что LLM могут "протыкать область знаний" - они по определению не сделают независимый интеллект уровня Нобелевского лауреата или даже сравнимого уровня. На сегодня это просто качественный агрегатор-трансформатор имеющейся информации, которую представляют в удобной форме. Типичный пример - self-driving cars, не смотря на все тесты и планы на 2015 - 2020 привести к массовой безработице водителей грузовиков, пока этого не видно вообще.

Четыре главных риска (угрозы безопасности)
1) Автономия: Риск того, что AI выйдет из-под контроля, начнет преследовать собственные цели или физически доминировать в мире через кибероперации и превосходство в вооружении. Отдельный вопрос - а вооружение теперь тоже будет продавать AI и потом логистику делать на территории, где AI "договорился" с властями?

2) Демократизация разрушения: Доступ злоумышленников или террористов к знаниям AI, позволяющим создавать биологическое оружие или проводить катастрофические кибератаки.

3) Укрепление тирании: Использование AI диктатурами для тотального контроля над обществом, подавления инакомыслия и изменения мирового баланса сил в пользу авторитаризма. Здесь кажется, что соц.медиа и массмедиа уже эту работу сделали.

4) Экономический шок: Массовая безработица и резкое неравенство из-за того, что AI сможет заменить человеческий труд быстрее, чем общество успеет адаптироваться.

Если порассуждать про экономический шок, то ключевой вопрос, как быстро AI-агенты смогут заменять интерфейс взаимодействия с другими участниками процесса (людьми и интерфейсами). Пока мы этого полноценно не видим, т.е. юрист с помощью AI становится продуктивнее, но сделки все еще делаются людьми, но возможно, что через 2-3 года ситуация сильно поменяется.

Как может произойти "самый анти-утопический сценарий”:
- AI-платформы становятся достаточно эффективными, чтобы напрямую выполнять рутинные задачи для конечных клиентов. Начинается первая волна закрытий компаний.

- По мере того как AI-платформы накапливают больше профессиональный знаний на основе взаимодействий с другими агентами и клиентами, они начинают выполнять работу, которая ранее требовала глубокого понимания контекста: стратегическое консультирование, управление организационными изменениями. Компании сокращают консультантов. Здесь у меня большие сомнения в том, что будут уволено больше 25-40% людей: т.к. при выполнении нестандартных аналитических задач требуется знания реального мира, способности с ними взаимодействовать на “человеческом языке” и валидировать, к тому же пока нет примеров, когда AI может самостоятельно принимать нестандартные решения, связанные с деньгами - например голосовое согласование цен сделок, переводов, переноса авиабилетов и тд.

- Сокращение прибыли в сфере профессиональных услуг отражается на всей финансовой системе. Инвест-фонды теряют много денег.

- Потеря рабочих мест в сфере профессиональных услуг (юридических, консалтинговых) приводит к стагнации крупнейших мировых центров. Возникает кризис высшего образования. Средний и upper-middle классы перестают существовать.

Все это выглядит достаточно хмуро, но пока мне нужно разговаривать с медленным живым человеком в british airways, или самостоятельно собирать документы на визу, и движения там не видно.

Андрей Анищенко in London