Inside Google’s big AI shuffle — and how it plans to stay competitive, with Google DeepMind CEO Demis Hassabis

Интересное интервью Демиса Хассабиса, CEO Google DeepMind, с Nilay Patel в рамках подкаста Decoder от Verge, которое было дано 3 недели назад в начале июля.

В рамках интервью обсуждались вопросы:
- про объединения Deepmind и Google Brain в одну компанию Google Deepmind, которая внутри Google будет заниматься больше продуктовыми историями, чем абстрактными штуками типа Alpha Go (игра в го) или Alpha Fold, которыми был знаменит Deepmind (вот интересная документалка насчет Alpha Go)
- про причину объединения - гипотеза интервьюера была в том, что OpenAI совершила прорыв с LLM и что Google теперь надо сфокусироваться и ускориться будучи в роли догоняющего
- про причину хайпа около LLM - гипотеза в том, что LLM решают задачи, понятные большинству обывателей и решают их неплохо, а предыдущие вещи от Deepmind слишком сложны для понимания обывателей и понятны только специалистам в узких сферах
- про культурные коллизии между двумя подразделениями (Brain и Deepmind), что стали теперь одним целым
- про подход к решению задач, который использует сам Демис - здесь Демис рассказывает про шахматы, которыми он долго занимается, про визуализацию итогового результата и backcasting от целевого решения назад к текущемуу (аля working backwards от Amazon)
- про микс глубоких новых исследований (условно, что придет на смену LLM) и масштабирования текущих решений (больше параметров, больше примеров для обучения, больше мощности)
- про продукты Google в формате Bard и SGE (Search Generative Experience) - эта история про текущие продуктовые вещи с использованием LLM в Google и опыт их использования
- про знаменитую заметку "Google 'We Have No Moat, And Neither Does OpenAI'" - Демис сказал, что думает, что заметка была реальной, но с выводами в этой заметке он не согласен
- про сроки наступления AGI - оценка Демиса ~ 10 лет
- про дообучение моделей при помощи людей, которые рейтингуют ответы LLM как правильные или нет и так далее
- про риски и регуляцию AI, так как Демис подписал письмо от Center for AI Safety
- про комбинацию моделей аля LLM + специфичные модели для решения задач из предметной области - приблизительно об этом же рассказывал Стивен Вольфрам в книге "What Is ChatGPT Doing ... and Why Does It Work?" (подробнее здесь)
- про исследование "Stochastic Parrots" внутри Google, что привело к замедлению LLM в Google и дальнейшему увольнению авторов после буста ChatGPT от OpenAI
- про то, как не попасть в цикл обучения нейросетей на материале, сгенерированным нейросетями, что может привести к ухудшению моделей - тут предлагается создать специальные watermarks, что встроены в сгенерированные материалы, что позволит их распознать при обучении новых моделей

#AI #ML #Engineering #Software #DataScience #SoftwareDevelopment