TGViewer
GitHub开源观察|开源项目·热门仓库·开发者 GitHub开源观察|开源项目·热门仓库·开发者 @githubtrendinghub · 840 subscribers
Post #969 15
AI 爬虫消耗 Linux Kernel 仓库 20% 计算资源

Linux 内核代码库每日收到约六百万次请求,其中仅约 2% 来自真实用户。其余大部分是 AI 驱动的爬虫,反复请求同一提交页面,导致服务器计算资源被大量占用。Linux 基金会基础设施安全主管 Konstantin Ryabitsev 统计,git.kernel.org 的 90 核心服务器中,有 14–16 核心几乎全部用于渲染这些爬虫请求,约占整体算力的 20%。一次完整克隆耗时约 200 CPU‑秒,而通过 cgit 页面逐页抓取 148 万次提交则消耗 280 CPU‑小时;对 922 个 fork 重复抓取后,总计高达 258 160 CPU‑小时,等同于单次克隆的 460 万倍。

这对开发者意味着:AI 爬虫的低效抓取不仅浪费公共算力,还可能导致服务不稳定,影响真正的代码审查与协作。若你在维护或使用 Linux 内核相关工具,需关注项目对爬虫的防护策略,或考虑在 CI/CD 流程中加入对 AI 生成内容的审查,以免被误当作合法请求。

#GitHub #开源 #LinuxKernel #AI爬虫 #计算资源 #开源安全 @GitHub开源榜
@GitHubTrendingHub
More from @githubtrendinghub
  1. Sep 27, 2026TensorFlow:端到端开源机器学习平台 由 Google Brain 团队为机器学习与神经网络研究而开发,提供工具、库与社区资源,方便研究者推进前沿模型、开发者构建和部署 M…
  2. Sep 27, 2026AlmaLinux 认证计划:软件认证首次开放给用户 AlmaLinux 首次支持软件认证,硬件认证套件也一并重写,两条路径的测试结果都汇入同一个公开目录。认证免费,硬件检查不再要…
  3. Sep 26, 2026ImageShrink:Windows 本地批量图片压缩工具 不想为一次批量缩图打开 Photoshop,也不想把文件传到在线转换器。ImageShrink 是一款 Windows…
  4. Sep 26, 2026Linux Device Manager:把 lspci、lsusb 收进一个 GTK4 设备树 Linux 上查设备要在 lspci、lsusb、lshw、sysfs 和 dme…
  5. Sep 26, 2026StarNet:把 AI Agent 团队放进像素空间站的本地桌面工具 在本地创建多个 AI Agent,安排进像素风空间站,用真实模型和工具干活。空间站不是装饰,而是运行时状态的…
  6. Sep 26, 2026DAWO:荷兰政府基于 NixOS 的数字自主工作环境 荷兰政府为摆脱对美国厂商的依赖,推出 DAWO(政府数字自主工作环境),覆盖操作系统、办公套件、协作应用、云服务、IT 管理…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →