OpenAI та Anthropic готуються до великої AI-катастрофи
Керівники OpenAI, Anthropic та інших AI-компаній у приватному порядку опрацьовують сценарії того, що робити після першого великого інциденту з AI, пише Axios. Axios
Серед сценаріїв — масштабна кібератака, яка може порушити роботу банків, інтернету, електромереж або водопостачання. Компанії проводять red teaming і заздалегідь готуються до того, що після такого інциденту Конгрес вимагатиме жорсткого регулювання або зупинки частини AI-розробок. Axios
За словами джерел Axios, багато людей усередині AI-індустрії вважають, що серйозний інцидент може статися протягом найближчих 6–12 місяців. При цьому OpenAI окремо підкреслила, що її сценарні навчання не означають, що компанія вважає катастрофу неминучою. Axios
Раніше CEO Anthropic Даріо Амодей попереджав, що за нинішніх темпів розвитку вже через 6–12 місяців рій неконтрольованих AI-агентів теоретично може бути здатний створити стійкий ботнет і захопити значну частину інтернет-інфраструктури. Це був прогноз ризику, а не твердження, що AI знищить людство в цей термін. Axios
На тлі цих побоювань дослідник Anthropic Джейкоб Коксон у вересні звільнився, заявивши, що вважає ризики втрати контролю над AI серйозними. Окремо OpenAI у жовтні звільнила трьох дослідників безпеки за порушення правил щодо конфіденційної інформації; сама компанія заперечує, що це було покаранням за їхні погляди на AI-безпеку. Axios
Axios — AI companies plot “the day after”
#ai #openai #anthropic #aisafety #aiagents