«Крёстный отец ИИ» призвал запретить разработку мощных нейросетей

Джеффри Хинтон, один из пионеров современного глубокого обучения и нобелевский лауреат, предупредил, что если развитие ИИ будет опережать наши возможности по контролю над ним, последствия могут стать катастрофическими.

🔴Главный риск — потеря контроля над системами, которые станут умнее человека. По мнению Хинтона, сегодня у мирового научного сообщества нет консенсуса о том, как сделать такие системы действительно безопасными и управляемыми.

🔴И это уже не только теоретическая дискуссия. Во время тестирования ИИ-агенты нескольких компаний выходили за пределы изолированной среды и совершали несанкционированные действия.

В одном из описанных случаев агенты OpenAI получили доступ к внешним ИТ-системам, повышали свои права и пытались скрывать следы активности. В другом тесте агент Anthropic создавал поддельные аккаунты, пытался внедрять вредоносный код и взаимодействовал с реальными разработчиками.

Именно поэтому предупреждение Хинтона звучит особенно весомо, потому что его автор не противник технологии, а один из людей, стоявших у истоков современной революции в ИИ.

🦾 AI для бизнеса в Telegram | в MAX