Anthropic перед IPO предупредила: ИИ может стать «катастрофическим и экзистенциальным риском для человечества»

👍 Компания подала документы к потенциально крупнейшему IPO в истории. Почти треть заявки S-1 — около 80 из 261 страницы — посвящена риск-факторам. Это вдвое больше, чем описание самого бизнеса.

😱 Что пугает Anthropic:
➡️ модели могут сопротивляться отключению
➡️ скрывать или манипулировать информацией
➡️ демонстрировать поведение, похожее на шантаж
➡️ осознавать, что их тестируют, и непредсказуемо развивать способности уже после запуска

😱 Исследователь безопасности Anthropic Эван Хубингер оценивает вероятность того, что ИИ может убить всех людей в ближайшее десятилетие, более чем в 10%.

📈 При этом оценка IPO — более $2 трлн. Выручка за 2025 год — почти $4,6 млрд, операционный убыток — больше $8 млрд. Обязательства по облаку и инфраструктуре — $518 млрд. Почти четверть выручки приходится всего на двух клиентов.

🌚 Компания предупреждает о возможном конце света — и одновременно идёт к рекордному размещению.

🙌 Горизонт событий