TGViewer
黑科技资源分享 黑科技资源分享 @deeptech123 · 3.56K subscribers
Post #4810 121
Encoder 的卷土重来
BERT 本来是一条极有潜力的路线:高效地把输入压成 representation。但它停留在了 task-specific 时代,每个任务都需要微调。
GPT 早期同样如此,后来却沿着 scaling、in-context learning 和 instruction tuning 走向了 泛化,把自然语言变成 universal task interface。分类、判断、推理、工具调用,统统变成 generation。
于是 decoder-only 赢下了整个 paradigm,encoder 也失去了继续探索 general classifier 和 general representation model 的历史机会。
但 Agent 改变了 workload。模型开始面对越来越大的输入、越来越重的 KV cache、越来越频繁的循环调用,此时,用一个巨大的 decoder 完整 prefill,再 autoregressive decode 几个 token 来完成一次判断,开始显得昂贵。
Jev 恰好等到了这个窗口。它试图补上 BERT 当年没有走完的路线,保留 GPT 的 task generalization,同时重新获得 encoder 和 classifier 式的 decision efficiency,成为面向 service、面向 Agent 的 泛化 decision model。
More from @deeptech123
  1. Oct 13, 2026经常有人问我订阅了啥AI的会员,所以今天正好分享一下。 1. ChatGPT Pro会员,100刀(约670块)。 GPT-6 Astra刚出来的时候,我是200刀的会员,那时候还…
  2. Oct 13, 2026把手动清 Claude 留下的缓存、账户痕迹和配置残留,再一个个改时区、语言、浏览器指纹,步骤散在终端和系统设置里 CCBaga 把这些操作装进一个桌面窗口,扫描、勾选、执行分开走…
  3. Oct 13, 2026Coldcard 冷钱包被盗事件,挺颠覆认知,漏洞不是硬件被攻破,而是一行固件代码逻辑 bug。 2025 年 7 月五千多个比特币地址被盗,1800 枚 BTC,价值超 1 亿美…
  4. Oct 13, 2026目前工作状态 be like : 我们一个团队成员把一个他用 AI 生成的文档发给我,让我看一下有没有什么问题。因为我没有什么时间,所以我就发给了我的 AI,让它检查一下。 我的…
  5. Oct 13, 2026好家伙!苹果把Chrome说的一文不值! 苹果Safari官网,专门有一个页面来踩Chrome!! 从网页加载速度、动画渲染、到隐私保护、电池续航,几乎全方位碾压。 但Chrome…
  6. Oct 13, 2026我愿意用我codex的2次、3次重置,换次claude的1次重置 @thsottiaux @DarioAmodei
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →