Чуть больше деталей:
- как я и
предполагал, идет поступательное развитие области. NTv3 файнтюнится и инеферит быстрее, а точность дает выше, чем для предыдущих моделей. Но прорыва - чтобы тут все стало х10 лучше - нет.
- качество NTv3 после файнтюнинга сопоставимо с SOTA для специализированных моделей (см. сравнение с Borzoi). Претрена не помогает радикально повысить это качество, но помогает сделать фантюн быстрее и дешевле. Жаль, что нет савнения с aGenome (думаю, появится в журнальной версии). С другой стороны, даже если aGenome маргинально лучше (сильно лучше быть не может, т.к. он и в сравнении с Borzoi не на порядок лучше), вы все равно не можете взять aGenome и зафайнтюнить для своих задач.
- скейлинг до 1B подтверждается, дальше проблема скейлинга по-прежнему не решена (аворы вроде как и не пытались больше 650М модели тренить, но я уверен что это потому что не смогли улучшить качество, а не потому что не хотели). Этот (на мой взляд главный) приз ещё ждет своего победителя.
- круто, что есть функциональная валидация - пусть сетап не идеальный, но лабораторная валидация предсказаний становится важной частью для топовых статей.
Сделал себе много заметок с техническими деталями, буду постепенно дополнять ими комментарии к посту.