btard

В репозитории представлен код для проведения безопасного распределённого обучения нейронных сетей с учетом атак Byzantine. Авторы предлагают новый протокол BTARD-SGD, который сочетает эффективность современных алгоритмов All‑Reduce с криптографическими методами проверки целостности данных.В работе проведён строгий теоретический анализ сходимости как для выпуклых, так и для невыпуклых задач, а также для случаев с тяжелыми хвостами распределения градиентов. Дополнительно предложена эвристика для защиты от Sybil‑атак, позволяющая новым участникам присоединяться к обучению только после демонстрации надёжности своих вычислений. Экспериментальная оценка включает обучение ResNet‑18 на CIFAR‑10 и предобучение ALBERT‑large, где предложенный протокол успешно противостоит различным типам атак (обратное знаковое, атаки случайным направлением, флиппинг меток, задержка градиентов и др.), позволяя быстро восстановить качество модели после атак. Работа может быть полезна исследователям в области распределённого обучения, специалистов по безопасности ИИ и разработчикам систем коллективного обучения, где важно объединять вычислительные ресурсы без риска компрометации результатов из-за недобросовестных участников.

статья | код