ИИ выходит за рамки человеческих знаний - Google DeepMind

Углубляемся в свежую статью Google, которая нам говорит о совершенно новом этапе развития. Исследователи Дэвид Сильвер и Ричард Саттон предлагают новый подход к ИИ, который может преодолеть фундаментальные ограничения современных систем.

Конец эры человеческих данных

Мир ИИ долго полагался на огромные массивы человеческих данных. Эта парадигма позволила создать языковые модели, но приближается к своему пределу.
"Ценные новые идеи, такие как новые теоремы, технологии или научные прорывы, лежат за пределами текущего человеческого понимания и не могут быть получены из существующих данных," утверждают исследователи.

Streams - новый подход

Вместо коротких взаимодействий "вопрос-ответ", новый подход предлагает системы, существующие в непрерывном "потоке опыта" — подобно тому, как люди живут и учатся годами. Такой ИИ будет:

1. Взаимодействовать с реальным миром через различные интерфейсы

2. Получать обратную связь непосредственно из окружающей среды

3. Развивать собственную модель мира, постоянно уточняя предсказания

4. Стремиться к долгосрочным целям, а не только к немедленным ответам.

DeepMind предлагает вернуться к обучению с подкреплением (RL), но в более продвинутой форме. Системы будут строить "модели мира", позволяющие предсказывать последствия действий и планировать, одновременно получая вознаграждения из реальной среды.
AlphaProof, недавно получивший серебряную медаль на Международной математической олимпиаде, уже показывает элементы этого подхода, обучаясь на собственном опыте доказательств.

Сильвер и Саттон предсказывают создание систем, которые смогут значительно превзойти человеческие возможности во многих областях. Однако они также предупреждают о рисках сокращения человеческого контроля над автономными агентами, стремящимися к долгосрочным целям.
"Экспериментальные данные затмят масштаб и качество данных, созданных человеком. Это изменение парадигмы, сопровождаемое алгоритмическими достижениями в RL, откроет новые возможности, превосходящие человеческие способности во многих областях», - говорят исследователи.

Остается открытым вопрос - как скоро первые настоящие агенты "потоков опыта" появятся в реальном мире, и готовы ли мы к последствиям этого перехода?