Вышла статья
https://github.com/google-deepmind/alphagenome

Пока не было времени прям внимательно прочитать, но проглядел по общим бенчмаркам.
Первое — круто, что люди потратили время на обучение действительно интересной штуки, идеи которой вертятся в сообществе давно. Ну и дали местами наверное неприятный ответ на часть надежд. Об этом далее

Второе — модель хоть и принимает на вход 1Mb, на самом деле still не видит далекие эффекты (о чем пишет и в пресс-ревью Anshul Kundaje). Так как модели при этом карты контактов пытается предсказать и как-то предсказывает — возникает вопрос, а точно ли их включение в обучение подобных моделей хотя бы чуть помогает.

Третье — с предсказанием эффектов регуляторных вариантов все тоже ну просто ок. То есть они не хуже Borzoi. Ок. На самом деле они пишут, что лучше, но тут надо учитывать сразу несколько моментов — Borzoi не идеал подобного предсказания. Они указывают значения "relative improvement". В реальных цифрах более очевидно тем, кто работал с этими данными, что эти изменения меньше дисперсии качества моделей, обученных буквально немного иначе (сиды поменять).

Четвертое — где-то эта штука действительно улучшает качество. Я не особо удивлен насчет ORCA кстати с предсказанием контактов — из той статьи было видно, что качество до конца не выжали. Круто, что улучшается предсказание RNA-Seq coverage и целиком на гене. действительно сильно лучше борзого для задачи ничего нет, а он справляется плохо. Возможно, в этом случае этот improvement поможет что-то новое делать (пока не показали). И точно интересно понять, как авторы этого добились. Помогло ли огромное окно, ибо гены большие? Или секрет в другом месте.


Пятое — качество улучшается в сравнении с популярными моделями. А не SOTA. Как я уже говорил, достаточно спорно насколько Borzoi SOTA, но это хоть дискутабельно. В задаче предсказания доступности хроматина тот же ChromBPNet бьётся, но что важно понимать — ChromBPNet голый король — это хорошая модель для старта но все заявления о ее SOTAшности — ну неправда. Можно взять две свертки + LSTM и смочь предсказывать то же покрытие сильно лучше ChromBPNet (relative improvement будет 4% с использованием меньшего числа параметров). И еще один момент — опять же, в этой задаче есть большая дисперсия качества в зависимости от оптимизируемой во время обучения. метрики. И сырые скоры ну не всегда будут говорить о том, насколько модель лучше. Потому я бы сказал, что в большинстве случаев модель не хуже имеющихся решений. Решая задачу сразу.

Шестое — Предсказания модели нельзя юзать для обучения своих моделей (по соглашению). Given уже сказанное, получается, что она полезна чтобы сейчас что-то быстро предсказать, но при этом для дальнейших исследований достаточно бесполезна (linreg даже не построишь). При этом в почти каждой области, которой эта штука занимается, есть альтернатива, которая таких ограничений не имеет, а работает не хуже или не сильно хуже.

Седьмое — Модель сравнительно небольшая. В ней 450млн параметров, что по идее должно позволить ее юзать на не очень дорогих серверах (когда будут веса или кто-то их воспроизведет). В то же время это еще в 2 раза больше, чем у Enformer. Но: она более сложным образом устроена, более сложным образом учится. А выигрыш на многих конкретных тасках, как я уже писал, либо укладывается в дисперсию, либо не лучше. (Кроме нескольких тасков)
На основе этого кажется, нужно прям сильно иначе на все эти задачи смотреть, чтобы действительно дальше развивать это дело. Возможно, нужны совсем другого типа данные.

Восьмое. Не советую втупую копировать оттуда решения —там есть странные приколы типо аугментации искуственными мутациями, что я не уверен, что помогает. Даже если согласно их статье помогает — мы же видим, что на тасках нет. Ну и традиционно огромное окно в 1Мб выглядит странным — у борзого в два раза меньше, работают на уровне с ним модели с окном в 4к нуклеотидов (тот же BPNet). Опять, точно нам нужно такое окно? Точно нужно его пихать так почти влоб, как это делают авторы?