NVIDIA выпустила Personal AI Router 😀

PAIR позволяет объединить компьютеры в локальной сети и превратить их в личный ИИ-кластер.

Он автоматически находит ПК с RTX, DGX Spark и поддерживаемые Mac и отправляет запросы на ту машину, где сейчас есть свободные ресурсы. То есть распределитель нагрузки для ИИ-агентов прямо у вас дома.

Можно запускать несколько ИИ-агентов параллельно, распределять инференс между несколькими видеокартами и компьютерами, использовать Ollama и LM Studio, а промпты, файлы и контекст агентов хранить только в своей сети.

Поддерживаются Windows, Linux и macOS.

PAIR уже доступен в бета-версии бесплатно и с открытым исходным кодом.

https://nvidia.com/en-us/ai-on-rtx/personal-ai-router/