🤖 Квантизация моделей: код, позволяющий сжимать нейросети в 8 раз без потери качества

Яндекс представил новое решение, позволяющее экономить ресурсы компаний, разрабатывающих и внедряющих нейросети. Например, благодаря новому методу модель Llama 2 после сжатия можно будет запустить на 1 графическом процессоре вместо 4.

Читать…