Needle 2：14MB 端侧工具调用模型开源

Cactus Compute 发布 Needle 2，一个面向手机、可穿戴设备、智能家居和机器人的开源 45M 参数模型。整个模型打包为单个 14MB 二进制文件，完整会话仅需约 28MB 内存，专为资源受限的端侧设备设计。

模型主打工具调用、设备操控和结构化信息抽取。与 FunctionGemma 270M、LFM2.5 230M 和 Apple FM 等小模型相比，Needle 2 在体积小 5 至 70 倍的情况下互有胜负，且以 2-bit 量化对比对方的 f16 精度。工具调用以结构化 JSON 返回，内置置信度评分和工具检索机制，256-token 滑动窗口让长对话内存占用保持稳定。

Python 包已发布，支持 pip install cactus-needle 直接调用，可用装饰器声明工具函数，或通过 Pydantic 模型抽取结构化数据。项目还提供 LoRA 微调流程，训练后合并导出为单个 .cact 文件，无需重新编译即可在原有引擎上运行。权重与源码均已公开。

GitHub

#GitHub #开源 #端侧AI #工具调用 #模型压缩 #CactusCompute
@GitHubTrendingHub