TGViewer
codedump的电报频道 codedump的电报频道 @codedump_notes · 5.5K subscribers
Post #929 2.41K
#人工智能
传统的软件行业,是有“边际效益”的:成本主要集中在软件开发期内,开发完毕之后,同一份软件给一个人用和给一万个人用,成本差不多。当然,如果是互联网行业的软件,多一个用户会多一些带宽和存储成本,但是总体而言,多出来用户之后的成本可以认为是满足边际效应的。

但是如今大模型领域则不是这样。姑且把大模型领域分为训练和推理两个阶段,前期花费大量成本训练模型完毕了还不算,模型部署上线后,推理的成本是实打实的:多一个用户的请求,就多一份不能被忽略的推理成本。

从这个意义上来说,就现阶段而言,模型推理服务(Model As A Service,MAAS)其实更像是制造业。区别在于:传统制造业,原材料和产出物,都是实体;而模型服务,输入和输出,是虚拟的数字物件token。
  • ❤ 11
More from @codedump_notes
  1. Sep 22, 2026#开源软件 开源本来承载的主要任务之一就是赢得信任,智谱这一把开源不但没有赢取信任,反而让更多人感到了疑问,比如我。
  2. Sep 22, 2026#开源项目 #Rust #数据库 hawdb:Rust编写的嵌入式图数据库,用于Nowledge产品中管理本地图数据。
  3. Sep 21, 2026#Rust #人工智能 最近看了好几个Rust相关的新闻,比如: * Rust在微软内部升级为一级语言:《Guest Post: Rust Is Tier-1 Language a…
  4. Sep 19, 2026#人工智能 这个翻译可以说是 信达雅 了。
  5. Sep 15, 2026#人工智能 《我不得不把才华埋葬在昨天》,Deepseek 核心开发的文章,也许再过一段时间,他就不用亲手写算子了。
  6. Sep 14, 2026#杂 这几个月上推的频率高起来,每个月100GB的翻墙流量就不够用了。我尝试了一下关闭推特自动播放视频的功能,流量消耗一下就下来了。 设置路径:推特web主页->更多->设置和隐私…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →