🌿 На очереди разбор следующей статьи с ICLR

Unlocking the Potential of Weighting Methods in Federated Learning Through Communication Compression

💡 О чём статья?
В последнее время всё больше задач фомулируются в федеративном сеттинге: данные распределены по множеству слабо связанных устройств.

Это вызывает две дополнительные проблемы:
⋅ Communication Bottleneck: агрегировать веса модели с сотен и тысяч устройств долго;
⋅ Data Heterogeneity: данные пользователей могут иметь существенно разные распределения (например, у кого-то фото только котов, у кого-то - только собак). Это бьёт по эффективности классических подходов.

Сообщество продвинулось в решении этих проблем изолированно, что удобно для анализа. Но на практике эти сложности не приходят по одной.

🎯 Что мы предлагаем?
Мы представляем ADI (Agnostic DIANA) - алгоритм, который впервые эффективно объединяет адаптивное взвешивание клиентов и сжатие коммуникаций.

⚠️ С чем пришлось столкнуться по пути?
⋅ Для назначения весов могут требоваться дополнительные коммуникации, обостряющие проблему дорогих пересылок;
⋅ Выбранная agnostic стратегия взвешивания меняет постановку и превращает задачу классической минимизации в седловую;
⋅ Ограничение на единичную сумму весов влияет на геометрию задачи;
⋅ Механизмы компрессии и взвешивания интерферируют в теоретическом анализе.

✅ Ключевые результаты:
📄 Теория: Доказали сходимость для выпуклых и невыпуклых задач, даже при использовании стохастических оракулов и частичной доступности клиентов.
🔨 Практика: Эксперименты на CIFAR-10/100 показывают, что ADI обходит бейзлайны, которые решают только одну из проблем, особенно в условиях сильной гетерогенности.
🔥 Эффективность: 
⋅ Адаптивная схема взвешивания назначает веса автоматически без дополнительной информации и тяжелых пересылок;
⋅ Продвинутая схема компрессии позволяет избежать накопления ошибки;
⋅ Optimistic шаги дополнительно снижают нагрузку на вычисление и передачу градиентов;
⋅ ADI не требует пересылки полных градиентов даже с малой вероятностью (что можно увидеть не у всех аналогов).

✨ Почему это важно?
Мы показали, что компрессия и взвешивание могут эффективно работать в тандеме. Это открывает новые возможности для решения реальных федеративных задач. Наш алгоритм спроектирован с упором на эффективность, а теоретический анализ покрывает практически значимые сценарии.

#разборстатьи