Проект Марио или как DeepMind пытались накопить денег на уход от Google

Недавно вышла новая книга Себастьяна Маллаби «The Infinity Machine» про Демисса Хассабиса и DeepMind. Сегодня несколько изданий опубликовали эксклюзивный отрывок из нее, и вскрылась очень интересная история почти десятилетней давности.

В 2014, после того как Google купили DeepMind, Демис Хассабис и команда начали работать над проектом Марио. Целью было понять, как правильно контролировать AGI, и как не дать одной единственной корпорации захватить над подобной технологией абсолютную власть.

Они перебирали структуры управления, варианты ограничить власть компаний финансовыми методами, формы независимых органов и тд. В ходе проекта они поняли, что ничего из этого не работает, и что если в DeepMind появится AGI, укротить власть Google над ним будет невозможно, и все это может вылиться в огромную угрозу для человечества.

И тогда… в DeepMind появилась секретная команда-хедж-фонд, которая пыталась обыграть Renaissance Technologies, то есть создать систему, которая лучше лучших предсказывает рынки. Они хотели обучить для этого модель, подобную AlphaGo.

Тем самым они надеялись заработать собственный капитал, чтобы в случае чего сохранить контроль над AGI у себя, отделившись от Google.

Ирония в том, что все они так верили в AGI на основе своих моделей AlphaGo и AlphaZero, и так увлеклись проектом Марио и хедж-фондом, что буквально проворонили значимость изобретенных их коллегами в 2017 году трансформеров.

А проект Марио, кстати, закончился тем, что в DeepMind осталась только одна идея: контроль через людей, а не через систему. То есть через доверие к конкретным фаундерам, которые принимают решения на основе общечеловеческих ценностей.

https://colossus.com/article/project-mario-demis-hassabis-deepmind-mallaby/