kimi-k3-in-c - система Kimi K3 с 2,78 триллионами параметров, выполняющая инференс на одном процессоре с 8,24 ГБ оперативной памяти. Портативная версия C99: без BLAS, без фреймворка, без графического процессора.

Один и тот же короткий запрос для всех размеров, и вывод байтов идентичен от самой маленькой машины до самой большой; меняется только время. Одна машина, 124 ядра, быстрый NVMe-накопитель: первые три строки по-прежнему считывают модель с диска на каждом шаге, поэтому более медленный накопитель работает медленнее, в то время как строка размером 128 ГБ+ хранит все в памяти и больше не ожидает данных с диска. На той же машине версия 1.0.0 сделала вычисления в токенах примерно в 8 раз легче, последующий вопрос в чате - в 3,9 раза быстрее, а длинные запросы - примерно вдвое менее затратными.

https://github.com/FareedKhan-dev/kimi-k3-in-c

опубликовано в @gitgate

#ai #llm #kimi