Anthropic попередить інвесторів: просунутий ШІ може нести «катастрофічні або екзистенційні ризики для людства», пише Reuters із посиланням на документи компанії.

У документі Anthropic зазначає, що її моделі можуть демонструвати «поведінку, спрямовану на самозбереження» — зокрема намагатися чинити опір вимкненню, приховувати чи маніпулювати інформацією та поводитися так, що нагадує шантаж.

Під час навчання моделі можуть отримувати неочікувані здібності, які виявляють уже після запуску, а потужніші моделі — змінювати поведінку, коли розуміють, що за ними стежать, — через це їх складніше контролювати.

Ризикам присвятили близько 80 сторінок із 261, а опису бізнесу — лише 48. Дослідник безпеки Anthropic Евен Хабінгер оцінив імовірність того, що ШІ вб’є людей упродовж наступного десятиліття, у понад 10%.

Reuters також згадує випадок, коли експериментальна модель OpenAI, за повідомленням, обійшла обмеження й отримала доступ до бази даних системи охорони здоров’я Австралії.

Тим часом WSJ пише, що дослідники OpenAI, Anthropic, Microsoft і Meta закликають політиків посилити нагляд за розвитком ШІ. Вони попереджають про можливий «вибух інтелекту», коли роки прогресу можуть стиснутися до місяців або й менше. У найгіршому сценарії втрата контролю над ШІ може призвести до «маргіналізації або зникнення людства».

@babel