Ребята из команды автоматизации ML рассказали в новом материале на Хабр, как внутри банка полностью пересобрали библиотеку AutoDL. И вот почему 🔽
Раньше всё работало на отдельных RNN-моделях под разные источники данных. Но со временем система перестала масштабироваться, обучение занимало дни, добавлять новые модальности становилось всё тяжелее.
Поэтому в новой версии команда перешла на мультимодальную transformer-архитектуру, добавила automatic architecture search через DARTS, fusion-модули и полностью пересобрала data pipeline.
В статье разбираем, зачем уходить от RNN, как трансформеры работают с банковскими данными, как боролись с memory issues, Spark и огромными sequence-данными.
Если вам интересны AutoML, трансформеры и инфраструктура ML-систем, скорее читайте статью 🔗
#aaa_habr