淘宝发热是因为它吗?确实抓出了个大模型
今天用电脑连手机排查存储空间,顺手翻出了一个挺有意思的“秘密”。
淘宝的隐藏私有目录深处,我挖出了一个叫 NGUserIntent下一代用户意图理解的文件夹,里面安安静静躺着一整套大模型文件。
好奇点开配置文件看了一眼,第一句系统提示词System Prompt直接给我看乐了,原话写着:“你是一个淘宝购后场景电商推荐系统的导购专家,擅长挖掘用户意图。”
顺着线索扒了一下底细:
• 模型架构:阿里的通义千问 Qwen2,规格是端侧最小的 0.5B 级别。
• 运行引擎:走阿里自研的 MNN 端侧推理框架,直接调用手机的 GPU 和 NPU 在本地离线跑。
• 空间占用:模型权重加上 GPU 计算图缓存,实打实吃了我近一个 G 的存储。
难怪每次刚买完一件东西,首页立刻就能“秒级预判”我下一步还想买什么
很多人可能会问:那平时刷淘宝发热发烫和它有关吗?
肯定有关系 只要在手机端跑本地大模型推理 芯片满负荷读取显存和权重 必然伴随着发热和电量消耗 这是物理定律 但是我们不知道它实际跑起来的上下文长度有多大 也没有具体的数据吞吐和调用频次 客观来说 谁也没有判断它贡献了多少发热量 所以说也不下定论 更不能瞎造谣
其实客观来讲,端侧 AI本身是整个科技界的大趋势。像我们日常的人脸解锁、相册人物识别、输入法离线联想都是本地模型。本地跑的好处很明显:响应极快,而且理论上你的偏好数据不用全部传回云端,对隐私反而更友好。
真正让人心里有点别扭的,是知情权。这个模型是 5月底被静默下载下来的,藏在受保护的系统沙盒深处,手机自带的文件管理根本看不到,淘宝设置里的清除缓存也只把它当普通数据一笔带过,从始至终没提过下载了大模型。大厂为了推荐效果在用户设备上做端侧落地能理解,但偷偷占了机主几百兆甚至上 G的存储、借用着手机的芯片算力,好歹提前打个招呼,或者结账时给发张 5 块钱无门槛券吧
如果你手头也是这几年的旗舰机,且淘宝占了几个G,可以去设置里把缓存清一清。大家也可以看看你们的手机里,是不是也住着一个同款“导购专家”?
#淘宝 #淘宝闪购 #安卓 #iPhone #端侧AI #大模型 #AI人工智能 #数码资讯
▎Source
