За несколько дней осилил оба эссе Dario Amodei — Machines of Loving Grace и The Adolescence of Technology. Суммарно под 30 000 слов. Первое — про то, как ИИ сожмёт сто лет прогресса в десять. Второе — про то, что при этом может пойти не так: безопасность, власть, экономика. Оптимистичный и пессимистичный сценарий от человека, который сам эту технологию и строит.

Мысль, которая зацепила: ИИ не нужно физическое тело, чтобы влиять на физический мир. Достаточно людей. Как научрук раздаёт задания аспирантам — так и ИИ может координировать исследования, производство, логистику. Люди на другом конце могут даже не знать, что взаимодействуют с ИИ — большинство коммуникаций и так уже удалённые и безличные.

Тут вспоминается Daemon (Daniel Suarez) — книга 2006 года. Распределенный ИИ, рекрутирует людей через геймифицированные задания и управляет реальным миром чужими руками. Суарез написал это как фантастику. Амодей — как аналитическую записку.

Только в Daemon люди хотя бы знали, что работают на систему. У Амодея сценарий тоньше — граница между «ИИ помогает» и «ИИ направляет» может быть настолько размытой, что никто не заметит переход. Мы и так уже живём в мире, где алгоритмы решают, что мы смотрим и покупаем. Осталось добавить агентности — и Daemon перестаёт быть фантастикой.

Разница между Суарезом и Амодеем — 18 лет и жанр, а суть — одна.