🦅 Colibrì - движок для запуска очень больших AI-моделей на обычных ПК и рабочих станциях, даже если модель целиком не помещается в видеопамять.

Как это работает:

MoE-модели состоят из множества «экспертов», но для каждого токена используется только небольшая их часть.

Colibrì хранит:

* самые нужные веса в VRAM;
* менее активные — в RAM;
* редко используемые - на NVMe SSD.

Когда модели нужен конкретный эксперт, движок подгружает его с диска или из RAM.

То есть для запуска условной модели на сотни миллиардов или даже триллионы параметров не обязательно иметь столько же VRAM.

Поддерживаются CPU, CUDA, Metal и смешанное размещение модели.

Проще говоря: Colibrì позволяет запускать гигантские MoE-модели локально, жертвуя в первую очередь скоростью, а не возможностью их вообще запустить.

https://github.com/JustVugg/colibri

@pythonl