Winter is coming. Цикл постов про академиков в депрессии - Часть 2
Цикл постов по статье Togelius, Yannakakis (2023). Часть 2

Продолжаем цикл постов “Winter is coming: почему академики сферы AI все чаще оказываются в депрессии и есть ли у них шансы на выживание”. Обсудим, какие пути предлагают авторы для AI-академиков, погрузившихся в депрессию. Причины депрессии обсуждали в предыдущем посте цикла.

Что предлагается делать AI-академикам в депрессии

- Сдаться. Не пытаться совершить прорыв, а публиковать статьи в журналах невысоких рейтингов, улучшая технические детали и рассматривая под-под-вопросы различных тем.

- Все-таки пытаться масштабировать вычислительные ресурсы, а именно - тратить наибольшую возможную часть исследовательского гранта на CPU и GPU. Правда, стоит иметь в виду, что даже самые крутые по суммам научные гранты в мире позволяют выделить на вычисления несопоставимо меньше денег, чем нужно на один (один, не серию) норм эксперимент даже с GPT-3.

- Сужать масштаб экспериментов (анти-масштабирование). Сконцентрироваться на игрушечных проблемах, позволяющих продемонстрировать преимущества нового подхода в теории на каких-то сравнениях. Авторы приводят вполне рабочие примеры такого подхода: Shafiullah et al. (2022), Pearce et al. (2023), Paster, McIlraith, Ba (2022). Недостаток в том, что широкий круг людей обращает внимание на подобные прорывы, как правило, значительно позже - когда кто-то проведет крупный эксперимент на реальных данных.

- Использовать претренированные модели. Хороший вариант не делать все с нуля, но чаще всего недостаточно для значимых результатов.

- Анализировать нюансы работы уже существующих моделей, вместо того, чтобы пытаться создать что-то новое.

- Использовать RL! Данные не нужны! Главное, без фанатизма, ибо грань науки и научной фантастики будет пролегать в непосредственной близости от вас.

- Заниматься небольшими моделями. Как с помощью минимально-нагруженной модели и минимального объема данных сделать ценные выводы? Привет Томасу Байесу. Ценность подобных методов неуклонно растет от года к году, хотя и имеет значительные ограничения в использовании.

- Работать над областями, которые на данный момент неинтересны индустрии. Может быть, они не заметят, как вы совершите прорыв. На этом моменте делаем паузу, для того чтобы сходить за успокоительным, и продолжаем дальше.

- Найти области, о которых еще никто не подумал о вас. Или взять заброшенный всеми метод и дать ему шанс. Тут еще чуточку больше шансов остаться незамеченным до получения важных результатов.

- Пробовать методы, которые не должны работать. Ну, вы поняли логику.

- Развивать сомнительные с точки зрения этики направления, потому что корпорации ограничены общими правилами этики, PR-службами и репутационными рисками, а вы - нет. Ну разве что только законом иногда. Цитата: “if you can’t do the research they couldn’t do, do the research they wouldn’t do”.

- Попытаться скооперироваться с индустрией. Если продать перспективную идею бизнесу, то можно получить как финансирование, так и стартап с вашим участием. Правда, ваша идея должна быть в первую очередь практико-ориентированной (иметь кейс с получением денег на не очень большом временном горизонте), чем направленной на улучшение мира, или новые теоретические научные прорывы. Тут уж извините, nothing personal just business.

- Развивать коллаборации между разными университетами. Здорово, но перспективы не сильно видны.

В следующих постах цикла поделимся размышлениями о том, что нас ждет в связи со всем вышеперечисленным, и что же можно сделать.

Ваш @Reliable ML

#business #tech #thoughts #reliable_ml