Децентрализованный ИИ

Covenant-72B [ LLM-модель от сабнета TAO - Templar ]
Виральность твитта: > 1.5M Views
Бенчмарки сравниваются с Llama-2, которая не является передовой моделью Meta
Кол-во публичных упоминаний в X от AI ресерчеров: 0
НО до выпуска этой модели, в январе их отмечал фаундер Anthropic, ссылаясь на статью от Epoch AI, как самую мощную децентрализованную модель вычислений в текущий момент. Он считает возможным дальнейший рост децентрализованного ИИ - но выразил сомнения в потенциале обойти централизованные дата-центры.

Проблема децентрализованного ИИ:
Связь между GPU в дата-центре проходит через NVLink / InfinityBand и иные решения, позволяющие линейное масштабирование.
Связь между GPU при децентрализованном ИИ через Интернет

Потенциальные решения:
DiLoCo ( DeepMind )
Prime Intellect [ INTELLECT -1 ]
Масштаб модели: 10B параметров
Мощность вычислений: 1e16 FLOP/s
Кол-во распределенных участников: 14 [ 3 континента ]
FLOPS utilization: 36.2-41.4%
Compute utilization: 83-96%
https://arxiv.org/abs/2412.01152

SparceLoCo ( Templar )
Covenant‑72B
Масштаб модели: 72B параметров
Мощность вычислений: 9e16 FLOP/s
Кол-во распределенных участников: 70
FLOPS utilization: TBA
Compute utilization: TBA
https://arxiv.org/pdf/2508.15706

Heterogeneous SparseLoCo ( Templar )
*Теория
https://arxiv.org/pdf/2601.02360


Показатели передовых централизованных дата-центров:
Масштаб модели: 100B-1T
Мощность вычислений: ~ 1e18 FLOPs
FLOPS utilization: >50%
Compute utilization: >85%

Сравнение Covenant-72B с INTELLECT-1 / Psyche + LLAMA 2
[ LINK ] / Превосходит по бенчмаркам языковой модели децентрализованных конкурентов, но немного отстает от старой модели Llama-2

Наиболее важные проблемы:
Synchronization Efficiency (P55 / P99 ) [ TBA ]
Fault Tolerance [ TBA ]
Scalability [ TBA ]
Consistency [ TBA ]
Network Bandwidth Utilization [ решена через сжатие ]
FLOPS utilization [ решена ]
Compute utilization [ решена ]

Самая главная проблема, что вышеуказанные модели были реализованы на маленьком кол-ве участников сети [ 14 / 70 ] и на мощных кластерах GPU, главные проблемы начинаются при масштабировании - больший масштаб кол-ва участников сети по геолокации / по мощности GPU

Потенциальные преимущества децентрализованного ИИ:
-Стоимость [ *оценочные данные ]
-Проблема централизации в обучении / 3-5 компаний владеют ИИ = контроль решений ИИ = контроль человеческий решений

Текущие игроки в децентрализованном ИИ:
-Templar [ лидер ]
-Nous
-Prime Intellect
-Pluralis
-Остальные [ Gonka / Cocoon / ... ]