Вызов функции по фразе человека обычно уезжает в облако или тянет локальную модель на сотни мегабайт. Cactus Compute выложила под MIT Needle 2: модель на 45 миллионов параметров, которая может делать это и на телефоне и в умном доме, а заодно вынимает из текста структуру по схеме.
Веса вшиты в движок, бинарник занимает 14 МБ, сессия держится в пределах 28 МБ оперативки и не растёт с длиной разговора: контекст обрезан окном в 256 токенов, описания функций закреплены в нём как якоря. На бенчмарках авторов идёт вровень с FunctionGemma 270M, будучи в несколько раз меньше.
Схемы функций компилируются в грамматику, ограничивающую каждый токен, поэтому ответ приходит структурой, а не текстом под парсинг. Ставится через
pip install cactus-needle, а посмотреть без установки можно в браузерной песочнице, там же кнопка дообучения.#ии #опенсорс
