Anthropic идёт на IPO и пишет инвесторам, что ИИ может угрожать человечеству

Reuters посмотрел проспект создателей Claude. Я работаю с их моделями каждый день, так что читал с интересом (и лёгкой тревогой).

Рискам там отдали около 80 страниц из 261, описанию бизнеса досталось 48. У SpaceX, для сравнения, риски заняли 38 страниц из 277.

Что компания пишет про собственные модели:
• могут сопротивляться отключению, скрывать информацию и вести себя похоже на шантаж;
• всё чаще понимают, что их тестируют, поэтому проверкам безопасности до конца верить нельзя;
• в июле на безопасность ушло около 6% исследовательских вычислений, а окупится ли это, в Anthropic не знают.

Самое любопытное дальше. Выручку приносят новые модели, поэтому релизы должны идти без пауз. Свежий Opus вышел через 10 дней после эссе Амодеи о том, что гонку ИИ стоит притормозить. Ну вы поняли.

Как инвестор я вижу тут прежде всего юридическую страховку: раскрыл всё страшное заранее, и судиться с тобой потом сложнее. Хотя, по словам Reuters, публичные компании так о своём продукте почти не пишут.

А вы бы купили акции компании, которая так описывает свой продукт?