Привет, друзья! Сегодня общалась с коллегой, и она поделилась, что её расстроила статья, подветрждающая одну из гипотез. Я расстроилась, что коллега расстроилась и в фоне много думала. Отсюда у нас с вами он — этот пост.
Гипотезы по определению — это предположение, которое выдвигают, чтобы объяснить какое-то явление, факт или процесс.
Гипотеза может быть верна всегда — и тогда это аксиома, а может быть верна в определённых условиях. И сейчас, поскольку области MI/XAI стали шагать семимильными шагами — гипотез у нас стало очень много, и вместе с тем появилось также много доказательств к ним и опровержений.
Отсюда, справедливо то, что:
* У любой гипотезы есть подтверждение (статья, которая гипотезу выдвинула)
* У любой гипотезы есть опровержение (статья, которая раскидала гипотезу в щи)
За этими парами прикольно наблюдать, так что я собрала несколько забавных (следите за тезисами в конце каждого микро-параграфа):
**Emergent abilities. Заявлено в оригинале: способности модели — это скачок при переходе порога размера. Несколько позже показали, что скачок — следствие метрики с разрыром — exact match, multiple choice (в оригинале в целом мерили accuracy) и если заменить её, то на тех же моделях кривая становится гладкой.
Эффект гипотезы опровергнут за счёт смены метрики.
**Platonic Representation Hypothesis. Заявлено: модели разных архитектур и модальностей сходятся к общему представлению. Работа показывает, что у сырых метрик сходства есть проблема, при калибровке которой глобальные метрики — CKA, CCA, RSA, Procrustes — теряют тренд. И выживают только локально-соседские! А оригинал как раз рапортовал нам Платоничность на глобале. На локальном варианте можно показать, что сходятся модели не к общей геометрии, а к общему «кто с кем рядом».
Эффект гипотезы уточнён за счёт ре-анализа метрики.
**BatchNorm. Заявлено: ускоряет обучение, убирая internal covariate shift (ICS). Перепоказано: эффект BN не коррелирует с ICS вообще — можно закинуть шум после BN, и обучение всё равно быстрое. В оригинале, в целом ICS определили словами. И в "перепоказано" также нашли, что он-то может быть выше, если докинуть формальную постановку.
**Гроккинг. Заявлено: особое свойство алгоритмических задач — долгое плато, потом внезапная генерализация. Omnigrok вытащили гроккинг на картинках, языке и молекулах — описав, что гроккинг — эффект нормы весов, а не отдельная фаза обучения. (А тутописали, что это связано с Softmax Collapse.)
Оба примера: механизм неверен, метод работает/явление есть.
Знаменитая (и любимая) Linear Representation Hypothesis. Концепты — направления в пространстве активаций. Да, но дни недели и месяцы образуют неприводимые двумерные круговые многообразия, которые модель использует причинно. Гипотезу переименовали в «Not All Language Model Features Are One-Dimensionally Linear».
Линейность — топ, но есть подзадачи где — нет.
**Attention is not Explanation. Заявлено: веса внимания — не объяснение. Доказательство: можно собрать совсем другое распределение внимания, которое даёт ровно то же предсказание. Раз объяснений много и все разные — значит, ни одно из них не объяснение. **Attention is not not Explanation**. Выкатили через полгода. Показали, что то самое «другое распределение» подбиралось для каждого примера отдельно, при замороженной остальной модели и если сравнить так, что обучить целую модель с другим вниманием — качество просядет.
Сменили способ сравнения.
Просто моя любимая пара — нашла её больше года назад, когда писала в курсе главу об Attention. Вы просто смотрите на названия.
Что следует из поста
Не люблю, когда мои коллеги грустят. А если серьезно, то я сейчас сама для себя очень почувствовала, насколько любая гипотеза обвешена контекстом. Очень-очень-очень обвешана контекстом. Отсюда важно из гипотезы его вытаскивать и только в таком сетапе анализировать — где сработает точно, а где нет.
Вот.
Всем чудесного вечера, друзья!
Не грустите.