Децентрализованный ИИ
Covenant-72B [ LLM-модель от сабнета TAO - Templar ]
Виральность твитта: > 1.5M Views
Бенчмарки сравниваются с Llama-2, которая не является передовой моделью Meta
Кол-во публичных упоминаний в X от AI ресерчеров: 0
НО до выпуска этой модели, в январе их отмечал фаундер
Anthropic, ссылаясь на статью от
Epoch AI, как самую мощную децентрализованную модель вычислений в текущий момент. Он считает возможным дальнейший рост децентрализованного ИИ - но выразил сомнения в потенциале обойти централизованные дата-центры.
Проблема децентрализованного ИИ:
Связь между GPU в дата-центре проходит через NVLink / InfinityBand и иные решения, позволяющие линейное масштабирование.
Связь между GPU при децентрализованном ИИ через Интернет
Потенциальные решения:
DiLoCo ( DeepMind )
Prime Intellect [ INTELLECT -1 ]
Масштаб модели: 10B параметров
Мощность вычислений: 1e16 FLOP/s
Кол-во распределенных участников: 14 [ 3 континента ]
FLOPS utilization: 36.2-41.4%
Compute utilization: 83-96%
https://arxiv.org/abs/2412.01152 SparceLoCo ( Templar )
Covenant‑72B
Масштаб модели: 72B параметров
Мощность вычислений: 9e16 FLOP/s
Кол-во распределенных участников: 70
FLOPS utilization: TBA
Compute utilization: TBA
https://arxiv.org/pdf/2508.15706Heterogeneous SparseLoCo ( Templar )
*Теория
https://arxiv.org/pdf/2601.02360Показатели передовых централизованных дата-центров:
Масштаб модели: 100B-1T
Мощность вычислений: ~ 1e18 FLOPs
FLOPS utilization: >50%
Compute utilization: >85%
Сравнение Covenant-72B с INTELLECT-1 / Psyche + LLAMA 2
[
LINK ] / Превосходит по бенчмаркам языковой модели децентрализованных конкурентов, но немного отстает от старой модели Llama-2
Наиболее важные проблемы:
Synchronization Efficiency (P55 / P99 ) [ TBA ]
Fault Tolerance [ TBA ]
Scalability [ TBA ]
Consistency [ TBA ]
Network Bandwidth Utilization [ решена через сжатие ]
FLOPS utilization [ решена ]
Compute utilization [ решена ]
Самая главная проблема, что вышеуказанные модели были реализованы на маленьком кол-ве участников сети [ 14 / 70 ] и на мощных кластерах GPU, главные проблемы начинаются при масштабировании - больший масштаб кол-ва участников сети по геолокации / по мощности GPU
Потенциальные преимущества децентрализованного ИИ:
-Стоимость [ *оценочные данные ]
-Проблема централизации в обучении / 3-5 компаний владеют ИИ = контроль решений ИИ = контроль человеческий решений
Текущие игроки в децентрализованном ИИ:
-Templar [ лидер ]
-Nous
-Prime Intellect
-Pluralis
-Остальные [ Gonka / Cocoon / ... ]
