DevOps-инструмент недели: Dragonfly

Загрузка модели размером 130 ГБ на 200 GPU-нод создаёт около 26 ТБ сетевого трафика.

Но что если ноды будут скачивать данные друг у друга, а не напрямую из исходного источника?

Именно для этого нужен Dragonfly – опенорс система P2P-распространения файлов.

Первая нода, которая скачивает файл, становится локальным кэшем. К хранилищу моделей обращаются только один раз, а остальные ноды в кластере получают данные друг от друга.

Что умеет Dragonfly 👇
- Поддерживает прямую загрузку моделей из Hugging Face и ModelScope.
- Разбивает файлы на части и начинает раздачу по P2P ещё до завершения первого скачивания.
- Снижает нагрузку на источник с 26 ТБ до примерно 130 ГБ при развёртывании на 200 нодах.
- Поддерживает работу с приватными репозиториями через аутентификацию по токенам.
- Разворачивается в Kubernetes как DaemonSet.

GitHub-репозиторий: https://github.com/dragonflyoss/dragonfly

👉 DevOps Portal