Microsoft випустила локальну модель MAI-Code-1.1-Flash і одразу показала ноутбук для її запуску

Microsoft відкрила розробникам доступ до локальної версії LLM-моделі MAI-Code-1.1-Flash. Тепер агентів для програмування можна запускати на власному комп’ютері без звернень до хмари та навіть без інтернету. Втім, є суттєве обмеження: потрібен обсяг пам’яті, якого не має більшість звичайних машин.

Раніше MAI-Code-1.1-Flash працювала лише на серверах Microsoft. Тепер її можна завантажити й запустити на власному обладнанні. Щоб зменшити апетити моделі до пам’яті, компанія стиснула її за допомогою 3-бітного квантування. При цьому вікно контексту залишилося повним і становить 256 тис. токенів. Читати далі на Highload 👉

Facebook | LinkedIn | X | Додати в Google