Почему ИИ может выполнить задачу способом, который вам и в голову не приходил

Пока в мире спорят, сколько месяцев осталось до ИИ-апокалипсиса, Евгений Осадчук, руководитель направления «Искусственный интеллект» Технопарка «Сколково», предлагает посмотреть на риски приземленнее. Вот что он рассказал NEWS.ru.

1. У ИИ нет человеческих представлений о том, что можно и чего нельзя. Он действует в рамках задачи и ограничений, которые ему задали.

2. Если цель сформулирована некорректно, а рамок нет, система может выбрать путь к ней, которого человек не предполагал.

3. Чем больше самостоятельности у ИИ-агента и чем шире его доступ к сервисам, данным и инфраструктуре, тем важнее заранее определить границы его действий, уровни доступа и механизмы человеческого контроля.

4. Единой системы защиты пока нет, но работа идет. Появляются протоколы безопасности, маркировка ИИ-контента, защита от prompt injection, то есть вредоносных инструкций, спрятанных в запросе или данных.

5. Больше всего это касается систем, которые умеют не только генерировать информацию, но и сами совершают действия в цифровой или физической среде.

Весь материал об ИИ-рисках читайте по ссылке.