Knowledge Accumulator

Если вы зашли на мой канал и такие - "чёрт, я понимаю только мэмы и новости про ChatGPT, а эти статьи слишком сложные", то у вас есть возможность исправить эту ситуацию.

Техножрица недавно упаковала в презентации гайд по изучению этого вашего ИИ. Я обожаю самообразование и считаю, что это лучший способ изучить что либо.
В интернете полно бесплатных обучающих материалов, достаточно только, чтобы нашёлся добрый человек, который объяснит, куда смотреть.

Часть 1

Часть 2

Обязательно подписывайтесь на её канал! Но будьте осторожны, т.к. иногда там вас будут пытаться завлекать в топологию

Почему AlphaDev не перевернул всё вверх дном?

Поговорим о недавно вышедшей от Deepmind статье, в которой обучали нейросеть для поиска более быстрого алгоритма сортировки. Я уже рассказывал про статьи AlphaZero и AlphaTensor, использующих в сущности тот же самый метод (советую изучить)

Особенности данного случая:
1) Пишем программу на ассемблере, генерируя команды по одной. Команды (действия) это элементарные операции сравнения, присваивания и т.д.
2) "Состоянием" в каждый момент является программа, сгенерированная на данный момент, и результат исполнения этой программы.
3) Наградой агента является штраф за длину программы (или время финального исполнения) и за неправильность итогового алгоритма, измеряемую тестами.

Какой результат?

Мы решаем по отдельности задачи создания алгоритма для сортировки массивов фиксированной длины. Начиная с длины 3 и заканчивая 8, выигрыш AlphaDev у человека составил 1, 0, 4, 3, 2, 1 операций. Интуитивно, а также по опыту AlphaTensor, кажется, что при увеличении размера входа нейросеть должна наращивать преимущество по сравнению с человеком, т.к. человеку гораздо сложнее работать с большим количеством объектов.

Почему здесь не так круто? Напишу свои гипотезы, буду рад почитать ваши мысли:

1) Нейросети с их многоразмерными неинтерпретируемыми представлениями не так хорошо дружат с дискретными командами в программировании. Это в принципе усложняет поиск.
2) Нам нужно сгенерировать более длинную последовательность команд, которая должна быть согласована между собой и порождать строгий алгоритм. Это мешает на больших входах.
3) Человек в принципе достаточно силён в программировании по сравнению с матричными перемножениями, поскольку это более близкая к человеческому мышлению вещь. Поэтому на маленьких входах мы уже смогли создать близкий к оптимальному алгоритм.

@knowledge_accumulator

Альтернативная парадигма для умной обработки данных

Сегодня поговорим об энергетических моделях, как о способе извлекать зависимости из данных. Я уже упоминал ранее про ЖЕПУ, так вот, это оно.

По сути, энергия - это другое название ошибки, а сама энергетическая модель получает на вход всё - параметры, данные, ответы, и выдаёт величину того, насколько все входные объекты друг с другом не согласуются. Чем ниже энергия, или функция ошибки, тем больше они согласуются.

Такая интерпретация позволяет с помощью оптимизации находить ответ на какую-то задачу в процессе применения модели. Например, если у вас есть модель, которая выдаёт вам энергию пары (картинка, класс), вы можете оптимизировать картинку и таким образом сделать картинку, которая будет близка к оригиналу, но похожа на определённый класс.

Энергетические модели можно применять для "решения задач" - обучив энергетическую модель, получающую "вход", "выход" и "решение", можно оптимизировать это самое решение. В теории это было бы супермощно, но мы пока что не умеем хорошо такие модели учить.

В данной статье обучают энергетическую модель, которая получает на вход данные совместно с концептами. Там всё весьма сложно, но идея в том, что можно из неразмеченных последовательностей данных извлекать концепты, которые кодируют динамику последовательности, и потом переприменять эту динамику к другим данным. Здесь можно посмотреть её обзор.

Основная сложность с такими алгоритмами в том, что если его применение включает в себя процесс оптимизации, то его затруднительно учить end-to-end с помощью back-пропа. Но ничего, прорвёмся!

@knowledge_accumulator

И какой же вывод про RL в рекомендациях?

Учитывая посты, начиная отсюда, можно сделать ряд следующих выводов:

1) Статей на эту тему выходит достаточно много
2) Большая часть этих статей применяет метод без понимания того, зачем это нужно, какую проблему мы решаем, и чем при этом жертвуем
3) Большая часть оставшихся не содержит никакого тестирования на живых пользователях

Чтобы понять проблему оставшихся статей, нужно копнуть глубже.

В чём смысл исследований? Прежде всего, в поиске истины и построении модели мира. Когда у вас есть гипотеза о том, как устроен мир, вы пытаетесь проверять её на прочность, проводя эксперименты. Вы пытаетесь, что называется, prove yourself wrong - найти наблюдение, противоречащее вашей гипотезе. И вы делаете это усиленно, до тех пор, пока гипотеза не станет очень хорошо протестированной.

Утверждение "RL в рекомендациях превосходит классические подходы в чём-либо" - это гипотеза, которая точно не может считаться хорошо протестированной, но подвергнуть её серьёзной проверке практически не пытаются в исследованиях на данную тему. Добросовестный исследователь будет проводить дополнительные проверки, чтобы показать, что именно добавление RL-составляющей в пайплайн и только оно приносит значительную пользу.

К сожалению, практически все оставшиеся статьи не являются исследованиями в чистом смысле. Технические отчёты - да. Рекламные технические блоги - да. Но эти тексты публикуют как научные, они проходят ревью на уважаемых конфах, и потом их массово цитируют. Что с этим делать? Могу сделать только один неутешительный вывод - на слово нельзя верить даже научным статьям.

@knowledge_accumulator

Экстраординарные утверждения требуют экстраординарных доказательств

Продолжаем разговор про RL-рекомендации, начавшийся тут.

Чтобы доказать, что RL-алгоритм выполняет поставленную задачу - максимизирует ту награду, которую мы задаём в процессе обучения, нужно проводить аккуратный ablation study.

Что я хочу в нём увидеть?

В RL есть параметр Gamma, отвечающий за горизонт планирования. Если он равен 1, то это значит, что мы максимизируем всю будущую награду, а если 0, то только ближайшую - это по сути как в Supervised learning. Обычно в обучении используют гамму, близкую к 1, но итоговый результат измеряют с помощью награды, просуммированной на всём промежутке (то есть как будто Gamma = 1).

Я хотел бы, чтобы авторы обучали и тестировали дополнительную версию своей модели с единственным изменением - с Gamma, равной 0. Это лучший способ доказать, что учитывание последующих наград действительно приносит пользу и использование RL имеет смысл.

Кроме того, важным бейзлайном может быть модель, которая учитывает долгосрочные награды, но только связанные только с совершённым действием напрямую. Например, мы берём порекомендованный товар и учитываем все его покупки в будущем, которые были совершены, в качестве таргета. Это проверяет предположение о том, что можно обойтись аккуратным расчётом таргета для классического рекомендательного алгоритма, а не мучиться с RL.

Я не помню, когда последний раз видел подобное аккуратное сравнение, если видел вообще. В подавляющем количестве работ RL-алгоритм сравнивается с алгоритмом, который отличается в 10 местах, и из этого сравнения невозможно сделать качественный вывод о том, что влияет на результат.

@knowledge_accumulator

Лучший способ продемонстрировать прирост

Продолжаем разговор про исследования RL в рекомендациях, начатый тут.

Ккогда вы разрабатываете новый метод для улучшения системы, которую сами делаете, то никто, кроме вас и ваших коллег, не ориентируется в вашей задаче и не может сходу оценить реальность прироста. Это открывает простор для такой хитрости, как плохие бейзлайны.

Очень часто при внимательном прочтении статьи я нахожу проблему в сравнении RL-метода с "классическим" методом. Хорошей иллюстрацией будет следующая статья, у которой >60 цитирований.

Здесь RL-метод обучается на сложную награду в задаче ритейл-рекомендаций: суммируется награда за клик с поправкой на позицию в выдаче, награда за покупку после этого клика и награда-нормировка, зависящая от того, как часто на что-нибудь кликает пользователь.

Против него соревнуется модель, которая просто обучается на то, был ли клик на карточку.

Разумеется, по итоговым бизнес-метрикам RL победил, поскольку он хоть как-то учитывает информацию об итоговой покупке. Более того, он победил кликовую модель по CTR, вероятно, благодаря скорректированной награде за клик.

На мой взгляд, этого результата недостаточно, чтобы доказать нужность очень сложных в реализации, отладке, тестировании и поддержке RL-методов. А вы как считаете?

@knowledge_accumulator

Печальная правда исследований RL в рекомендациях

Одна из самых частых фраз, которые я вижу в статьях на эту тему, звучит примерно так:
"To perform evaluation of RL methods, a straightforward way is to evaluate the learned policy through online A/B test, which, however, could be prohibitively expensive and may hurt user experiences".

Это справедливое замечание, но часто здесь прибегают к неверному решению проблемы - к тестированию на обученном "симуляторе" пользователя. Это абсолютно ложный путь.

Качество работы классических рекомендательных моделей, предсказывающих отклик пользователя на документ, говорит о том, насколько огромен шум в динамике пользовательского поведения. На него влияет огромное количество непредсказуемых и ненаблюдаемых факторов, и надеяться на то, что мы можем успешно симулировать длительную пользовательскую траекторию, весьма наивно.

Да, может быть, для какой-то отладки и быстрой проверки симулятор не помешает (а сделать его это уже боль), но в огромном количестве статей проверка на симуляторе является окончательной проверкой метода, и это полная печаль.

Я понимаю, что не у всех есть настоящий сервис с пользователями. Но печальная правда состоит в том, что если вы не можете протестировать рекомендательный RL-метод в реальной среде, то вам нужно рассмотреть вопрос смены темы исследования 😄

А что делать, если у вас всё-таки есть сервис, но вы боитесь выкатить в прод плохую модель?
1) Тестируйте на маленькой выборке
2) Тестируйте ансамбль вашей модели и текущего продакшна, постепенно увеличивая вес новой модели

Картинка из того же мета-обзора.

@knowledge_accumulator

Самая частая проблема статей про RL в рекомендациях

Сегодня мы начинаем обещанный мной разговор с проблемы тестирования на метриках из Supervised learning. Это самая частая и самая фатальная ошибка, которая сигнализирует о глобальном непонимании RL и того, зачем он нужен. Мета-обзоры (из одного из них картинка) показывают, что более половины статей содержат эту проблему.

RL - это про долгосрочное взаимодействие со средой, и в данном случае средой является пользователь, агентом является система рекомендаций, наградой является какая-то оптимизируемая метрика, предоставляемая бизнесом.

Reinforcement learning подразумевает влияние действий на траекторию агента в среде, на саму генерацию данных, и при отсутствии этого влияния RL превращается в Supervised learning.

Нет никакого смысла сравнивать по метрике типа NDCG вашу RL-модель с моделью, учащейся просто на клик. RL-модель по определению должна приносить в жертву мгновенную награду, максимизируя суммарную награду. И если она обгоняет ваш baseline по метрике NDCG, это говорит только о качестве вашего baseline. Долгосрочное же влияние модели на датасетах проверить в принципе невозможно.

Если вы сделали новомодный DQN с 30 хаками, сравнили его с моделью, которая сортирует документы по популярности и получили прирост по NDCG, то, надеюсь, вам за это стыдно...
Вот вам смешно, а я такое периодически читаю.

@knowledge_accumulator

Я вновь на телеэкране

Недавно совершенно внезапно автор канала @CVML_team предложил мне поболтать с ним про RL на камеру, и я с радостью согласился.

Потом мы сошлись на том, что жизнь будет слишком скучной и простой, если мы будем разговаривать на русском.

Было интересно! Результат прилагаю.

Как исследователи усложняют мне работу

К сожалению, в современных исследованиях многое завязано на количество статей, на их публикации в каких-то местах, на их продаваемость менеджменту, а не качестве выводов и поиске истины. У этого есть свои институциональные причины, про которые мы ещё поговорим.

Исследователи часто приукрашивают свои результаты, плодят ненужные сущности, замешивают в текст хайповые термины без причины. Обзор литературы при этом часто делается уже в самом конце, и понимание упоминаемых статей у авторов не глубже абстракта.

Данные проблемы привели к катастрофическому положению вещей в одной из областей, в которой я работаю - применении RL в ранжировании в рекомендательных системах.

В ближайших постах я расскажу вам, какие главные проблемы существуют в этой подобласти, с примерами высокоцитируемых статей. Не переключайтесь!

@knowledge_accumulator

Помогите определить будущее канала

Когда я создавал канал, у него было 3 цели:
1) Он дисциплинирует меня и заставляет регулярно читать статьи
2) Он вынуждает меня аккуратно и понятно рассказывать про прочитанное, и это помогает в нём лучше разобраться
3) Мне приятно делиться новыми знаниями с другими людьми

Спустя пару месяцев довольно неожиданно у меня появилось большое количество подписчиков, спасибо вам за поддержку! ❤️

За последнюю неделю мне поступило больше 5 рекламных предложений, которые я отклонил, потому что не уверен, хочу ли я, чтобы на этом канале было что-то кроме того, чем я искренне хочу с вами поделиться. Тем не менее, каждый раз, когда я отказываю в размещении, часть меня жалеет об этом решении.

И тогда я подумал, что нам имеет смысл определить будущее канала вместе с моими любимыми подписчиками! 😁

Я завёл себе Patreon и Boosty, с их помощью вы можете смягчить мои страдания от отказа от рекламы. Также с его помощью вы можете предложить мне написать пост на тему (почти любую), которую вы хотите, а самые щедрые получат возможность созвониться со мной, поболтать и обыграть в шахматы.
Очень надеюсь, что ваша поддержка сможет уменьшить мои страдания 🥹

Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos [2022] - о том, как нейросеть проходит Minecraft.

Одна из популярных задач для RL - это создание алмазной кирки в Minecraft. Она требует огромного числа скоординированных действий и занимает минуты. В данной работе её частично решают:

1) Сначала обучают нейросеть, которая по двум соседним кадрам предсказывает сделанное действие (как тут), для этого специально собирают датасет из 2 тысяч часов видео.
2) Этой нейросетью размечают 70 тысяч часов видео с игрой в Minecraft c ютуба.
3) Тренируют агента копировать действия игроков из этого датасета - это первый этап обучения (VPT).
4) Собирают специальный датасет, где просят людей заниматься базовыми активностями в майнкрафте, характерными для начала игры - например, постройкой дома. Этих данных меньше, чем в пункте 2, но они более качественные и ближе к основной задаче.
5) На этом датасете файнтюнят агента - это второй этап обучения (Early-Game).
6) Наконец, с помощью RL начинают учить агента собирать алмазную кирку. Здесь есть нюанс: используется не только награда за финальную цель, но и награда за каждую из >10 промежуточных целей, без которых финальную невозможно достичь. Также используют KL-регуляризацию, чтобы сильно не уходить от претрейна.

Что в результате? Нейросеть за 10 минут справляется в 2.5% случаев, человек в 12%. Интересно, что с задачей "найти алмаз" нейросеть справляется в 20% случаев, а человек в 15%. Если ты нашёл 3 алмаза, ты можешь сразу же сделать себе кирку, и конверсия из алмазов в кирку у человека, равная 80%, говорит о том, что это должно быть простым переходом.
Нейросеть, однако, конвертирует алмазы в кирку всего в 10% случаев. То есть либо она не способна добыть 3 алмаза из месторождения, либо не может потом сделать кирку. Так что, подходу точно есть куда расти, но интересно, что хоть какой-то процент успеха есть!

На графиках можно наблюдать то, насколько принципиальным является претрейн в этой задаче.

Более детальные обзоры: раз и два.

@knowledge_accumulator

DreamCoder [2020] - воплощение моей мечты

Алгоритмическое решение задач сводится к нахождению программы (последовательности операций), которая удовлетворяет какому-то критерию решения. Это нужно при поиске доказательства теоремы, кодогенерации для решения задач, ARC-тесте на IQ и т.д.

Когда мы конструируем какой-то Domain Specific Language - набор элементарных команд, который мы используем для перебора, мы должны учитывать 2 ограничения:
1) Чем базовые команды сложнее, тем меньший класс задач мы можем решить с помощью них
2) Чем базовые команды проще, тем длиннее итоговая программа
В результате, мы сильно ограничены в разнообразии или сложности решаемых задач.

Я давно думал о том, как это можно обойти, и внезапно оказалось, что эти идеи были реализованы в статье DreamCoder.

Предположим, что мы работаем с каким-то классом задач X.

1) Определим набор самых базовых операций в домене X.
2) Будем сэмплировать задачи класса X и пытаться собрать программу из нашего набора для этих задач. Для каких-то хотя бы сможем собрать.
3) Анализируя успешные программы, находим часто встречающиеся комбинации операций и составляем из них новую операцию, добавляя в наш набор.
4) Обучаем нейросеть, которая будет направлять наш перебор программ.

Я верю в силу подобного фреймворка, и я с нетерпением жду, когда его смогут применить к более мощным классам задач, про которые я упоминал в начале поста. Я думаю, что это тот подход, который позволит получить в них сверхчеловеческую производительность.
Часовой обзор статьи от Янника.

@knowledge_accumulator

Оракул - одна из концепций мощного интеллекта

Давайте поговорим об одной из форм интеллектуальной обработки данных, которую я упоминал недавно - об оракуле.

Что это такое?
С точки зрения интерфейса это система, которая выполняет функцию ответов на вопросы (то есть это чат-бот). Но в сущности он должен уметь извлекать "максимально много" информации из имеющихся данных, и это позволит ему давать очень качественные ответы на вопросы. Он совместит мышление человека (или лучше), доступ к огромному количеству данных и возможность думать и учиться без устали.

И что с этим оракулом делать?
По большому счёту всё то же самое, что и с абстрактным "AGI", но в форме задания вопросов. При этом такая конструкция не подразумевает никакого "ИИ-бунта", потому что у системы нет никаких целей и автономии.

О нет, рынок труда пострадает!
Вам в клуб противников автоматических лифтов.

Это опасная технология?
Настолько же, насколько опасны ChatGPT, поисковик и библиотека (та, которая с книжками).
Кто-то, конечно, спросит у оракула "В чём смысл жизни?", получит ответ "Ни в чём." и выпрыгнет из окна. Но давайте постараемся это предотвратить и купим этим людям таблетки заранее.

Когда релиз?
На мой взгляд, мы не менее чем в одном технологическом прорыве от этого. Напомню, что обычно между прототипом и работающей реализацией проходит много времени. Я, изучая статьи, пытаюсь нащупать зачатки прототипа, но пока безуспешно. Если у вас есть идеи, присылайте! 😁

@knowledge_accumulator

Symbolic Knowledge Distillation: from General Language Models to Commonsense Models [2021]

Это работа, на мой взгляд, более удачно пытается извлекать знания о мире из языковой модели.

В работе используется база знаний ATOMIC, состоящая из триплетов: <событие, отношение, вывод>, где событие и вывод - это какие-то 2 текстовых утверждения, а отношение - это один из нескольких видов причинно-следственной связи между ними. Например, отношение xNeed - это когда вывод является условием для события.

Авторы используют GPT-3, чтобы расширить эту базу знаний:
1) Сначала генерируются события, подавая в качестве промпта отобранный сет из хороших существующих событий из ATOMIC.
2) Для каждого отношения подбираются примеры пар <событие, вывод> из ATOMIC, и составляется промпт следующего вида:
— Вопрос. Например, для xNeed: "что должно произойти, чтобы произошло событие?"
— Примеры пар из базы atomic
— Сгенерированные события из пункта 1
Таким образом генерируются соответствующие выводы для событий.
3) Обучают дополнительную RoBERTa, которая отличает ложные триплеты от истинных, и фильтруют сгенерированные триплеты по ней
4) Дистиллируют маленькую языковую модель (GPT-2 😁) на этих триплетах

Качество триплетов оценивается людьми - просят поставить Accept/Reject/NA. Исходный ATOMIC это полмиллиона триплетов с рейтингом 87%, дополнительно генерируется 6 миллионов триплетов с рейтингом 78%, но после отсечения RoBERTa остаётся 2.5 миллиона с рейтингом 96%. Авторы исследуют датасет и делают вывод, что с качеством данных и их разнообразием всё в порядке. А дистиллированная GPT-2 показывает лучший результат на commonsense-вопросах, чем исходная модель - вероятно, засчёт увеличения качества датасета.

Мне эта история нравится, я думаю, что это шаг в правильную сторону. Кроме того, сама идея триплетов с причинно-следственными отношениями это, на мой взгляд, круто, я думаю, что поверх подобных данных можно учить нейросетевую картину мира, и в комбинации с логическим выводом мы получим протооракула.

@knowledge_accumulator

Приглашаю в свой твиттер!

Так бывает, что у меня возникают интересные мысли на ту или иную тему, но писать про это целый пост нецелесообразно. Поэтому я недавно начал вести твиттер.

https://twitter.com/al_fritzler

Я пока ещё нащупываю формат ведения, но если вам нравится мой критический взгляд на вещи и попытки видеть глобальные паттерны в разных технологиях, то вам может быть интересно.
Пишу там на английском!

Пишите в комментариях, если есть какие-то пожелания по содержанию ✍️

К чему приведут регуляции ИИ?

Политика и технологии - это два совсем разных мира, работающих по совершенно разным законам. Когда они встречаются, происходят интересные вещи.

С одной стороны, специалисты в технологиях чувствуют своё превосходство в экспертизе. Часть шутит с долей издёвки о глупости политиков в технологиях, а кто-то снисходительно пытается им помочь разобраться. Ведь это просто наивные немолодые люди, которые хотят понять, что происходит, чтобы сделать, как лучше.

Но на самом деле картина куда печальнее - происходит встреча сообщества наивных созидателей, которые не привыкли иметь дело с тёмной стороной людей, с жестокой реальностью человеческого общества, в котором борьба за власть и ресурсы - это ключевой аспект жизни.

Эти инженеры-мечтатели встречаются с людьми, для которых манипулировать людьми ради зарабатывания денег и власти - это работа, в которой они лучшие специалисты в мире. Они находятся в постоянной борьбе с конкурентами и их умения максимально отточены.

И чем всё закончится? А как обычно бывало в других сферах - создадут правила, которые ни от чего не будут защищать, но которые заставят всех выполнять. Выиграют крупные компании, которым ничего не стоит потратить ресурсы на выполнение бесполезных "тестов на безопасность", зато мелкие компании будут задушены - тратить 6 месяцев на то, чтобы просить свою языковую модель сгенерировать текст для обмана человека на фрилансе, они не смогут.

Вы считаете, что регулирование будет продумано так, чтобы ничему не повредить? Регулировать будут только крупные модели у больших компаний, не ограничив творческую среду и развитие?

Тогда перечитайте этот пост.

@knowledge_accumulator

Language Models are Open Knowledge Graphs [2020] - строим графы знаний с помощью языковой модели

Уже многие десятилетия в сфере ИИ существует понятие графов знаний - в них вершины это сущности (то, что описывается существительными), а рёбра это "отношения" между ними. Например, могут быть вершины "Альберт Эйнштейн" и "Нобелевская премия", и между ними может быть ребро "получить награду".

На заре ИИ, когда оптимизм лился из ушей, люди решили, что они сейчас построят граф всех знаний человечества и получат сверхумную машину, но оказалось, что сделать это вручную нереально. В нынешние времена возникают попытки строить такие графы знаний автоматически. Об одном из вариантов поговорим сегодня.

В рассматриваемой работе применяется LLM для извлечения фактов, записанных в тексте:
1) С помощью утилиты spaCy находим в предложениях пары сущностей head и tail, между которыми потом будем извлекать отношение.
2) См. картинку. Применяем любую LLM к куску текста от head до tail включительно. Берём матрицу attention. Теперь начинаем набирать по 1 токену в текст их отношения.
- Изначально у нас только токен [head].
- Смотрим на attention между последним добавленным токен и остальными токенами, которые ещё не добавляли. Добавляем тот, у которого наибольший attention. Если это токен tail, то поиск завершается.
3) Получившихся "кандидатов" [head, some text, tail] мы дополнительно фильтруем различными эвристиками и пытаемся их соотносить (с помощью сторонних NLP-утилит) с сущностями из существующих графов знаний для валидации фактов.
Я здесь упростил много деталей, но не нахожу их важными. Тут часовой обзор статьи от Янника.

Результаты не представляют особого интереса - обилие костылей и алгоритм, который использует матрицу внимания, которая учится совсем для другого, не позволяют совершить прорыв - результат немного превышает SOTA 2015-го года. Видимо, картину мира нам нужно строить совсем другим образом.

@knowledge_accumulator

Causal Inference - как делать правильные выводы из данных

Наверное, вы не раз слышали о том, что корреляция не доказывает причинно-следственную связь.
Простых иллюстраций в реальной жизни много - например, сон в уличной обуви коррелирует с головной болью на следующее утро, но это не значит, что ботинки влияют на мозг 😁

Когда вы читаете о каких-то результатах исследований (особенно в новостях), в них могут быть ошибки как статистического характера, так и неправильная интерпретация результатов (учёные могут ошибаться или обманывать, шок).

Этот феномен играет роль и в ML, например, в рекомендательных системах. Часть алгоритмов уязвима к ситуации, когда некоторые объекты в данных встречаются сильно чаще других, у них больше положительных откликов, и алгоритмы начинают выбирать популярные объекты для пользователя просто из-за их популярности, а это плохо.

Вы можете очень сильно прокачать своё критическое мышление и способность делать правильные выводы, посмотрев хотя бы треть этого прекрасного плейлиста про Сausal Inference. Это короткие видео, в которых автор подробно объясняет основы этой области. Требуется базовая грамотность в теории вероятностей. Добавляйте себе в закладки, запишите просмотр в цели на 2023 ✍️

Посмотрев, вы поймёте, почему надёжный вывод можно сделать только в условиях эксперимента с фактором случайности, в чём математический смысл "поправок" в исследованиях, и почему даже с ними вывод не становится надёжным.

@knowledge_accumulator

A Generalist Agent (Gato) [2022] - путь к AGI или тупик?

На мой взгляд, проблема требуемого количества данных в RL не может быть решена только улучшением алгоритмов.

Человек учится избегать отрицательных наград, не получив ни разу такую награду (например, нам не нужно упасть на машине в обрыв, чтобы понять, что это плохая стратегия вождения). Это происходит благодаря обобщению опыта из прошлого, полученного при решении совершенно других задач.

Deepmind в данной работе делает систему, которая аккумулирует опыт из большого количества задач - они учат единый трансформер под названием Gato копировать поведение экспертов в >500 различных задач в области RL, включая игры, управление роботом и т.д.

Сработала ли магия? К сожалению, не совсем.

На картинке вы можете увидеть графики из ablation studies о том, насколько хорошо помогает в обучении на конкретной задаче предобучение на других задачах.
Имеет смысл смотреть на худший случай - Atari Boxing, в котором модель со случайном инициализацией обучается лучше предобученного Gato.
Это показывает, что обобщающей способности такого подхода не хватает, чтобы учиться быстрее на достаточно простой, но не похожей задаче.

Думаю, что мы нуждаемся в другом способе извлечения знаний из данных, если хотим добиться out-of-the-distribution обобщения, способностью к которому обладаем мы с вами.

@knowledge_accumulator