«Торрент для запуска ИИ»: новая утилита Exo

Запущена бесплатная программа Exo, предназначенная для распределенного запуска моделей ИИ на разных устройствах, включая смартфоны и Raspberry Pi. Это решение позволяет объединять вычислительные ресурсы, что позволяет запускать крупные языковые модели, требующие значительных объемов оперативной памяти.

Источник изображения: github.com/exo-explore/exo

С помощью Exo можно запускать модели, для которых недостаточно мощностей одного устройства, например, DeepSeek R1, нуждающаяся в 1,3 ТБ памяти, может быть теоретически запущена на 170 Raspberry Pi с 8 ГБ.

Программа поддерживает модели LLaMA, Mistral, LlaVA, Qwen и DeepSeek, и работает на устройствах под управлением Linux, macOS, Android и iOS (версии для Windows пока нет). Однако стоит учитывать риски безопасности и влияние производительности сети на общую эффективность работы.

Подробности и информация о проекте доступны по ссылке: Exo на GitHub.

@Unlim_AI