Еретики

С конца 2022 всё никак не может улечься волна хайпа ChatGPT – каждый уважающий себя блогер успел поделиться своим бесценным анализом способностей и, сильно реже, ограничений новой диалоговой модели. Сама модель мне стала не очень интересна после того, как она усердно пыталась убедить меня в том, что граф – это график, но ни в коем случае не математический объект. С другой стороны, интересно подумать о разных

Почему-то многие люди думают, что в этой нашей "серьёзной науке" нет места моде и стадному поведению. Это, очевидно, не так – достаточно последить за статьями на "топовой троице" ML конференций – ICML/NeurIPS/ICLR. Лет пять назад был расцвет генеративных состязательных сетей, сейчас им пришли на смену диффузионные модели. Да и само обучение гигантских моделей градиентным спуском тоже является текущей модой.

По модным направлениям очень невыгодно публиковаться долго – приходит большое количество увлеченных людей, которые публикуются на скорость, не оставляя интересных тем для последующих исследований. В таких условиях выигрывают "еретики", которые отказываются заниматься текущим трендом и гнут свою исследовательскую линию. У таких людей получается обмануть "эффект уличного фонаря" – ведь совершенно нет смысла искать интересную тему, по которой только что были написаны десятки статей людьми с абсолютно разными бэкграундами. Поэтому в своей работе я стараюсь не писать статьи на темы, которые уже успели расхайпить другие люди.

К слову, Costică Brădățan не так давно написал отличную статью про еретиков и нонконформистов в науке в мой любимый aeon.co – очень рекомендую.