TGViewer
开发者工具箱|编程·开发工具·资源 开发者工具箱|编程·开发工具·资源 @devtoolboxhub · 779 subscribers
Post #1498 4
仅7家大公司招聘页可爬,如何一次检测

测试了42家大型雇主的招聘页面,仅7家可直接爬取。多数企业使用Taleo、Oracle等企业级ATS,不提供公开API。下面介绍如何用一个请求快速判断。

现代ATS(Greenhouse、Lever、Ashby、SmartRecruiters)提供开放API,无需认证。企业级ATS(Taleo、Oracle、Phenom、iCIMS)则依赖会话与JavaScript,无法直接抓取。通过检查招聘页HTML的正则匹配,即可识别ATS类型。
检测ATS的Python代码:import requests, re;SIGNATURES字典包含Greenhouse、Lever、Ashby、SmartRecruiters、Workday、Taleo、Oracle、Phenom、iCIMS的正则;函数detect(careers_url)发送请求并匹配,返回ATS类型。若返回Taleo等,直接放弃。
识别后调用API:Greenhouse可用GET https://boards-api.greenhouse.io/v1/boards/{slug}/jobs,Lever类似。注意Workday的limit不能超过20。
不猜slug,从真实URL读取。作者提供了一个免费的开源爬虫工具,自动检测ATS并归一化数据。


该方法可节省大量试错时间。对所有想爬招聘数据的开发者而言,先检测ATS再动手,事半功倍。

#开发者 #工具 #爬虫 #ATS #Greenhouse #Lever #JobScraping
@DevToolboxHub
More from @devtoolboxhub
  1. Sep 27, 2026用一个下午审计公司里的重复性工作 多数公司不需要耗时半年的转型项目,才能发现时间到底流失在哪里。花几个小时追踪三个真实工作流,就能看出很多问题。关键不是问团队哪里效率低,也不是凭记…
  2. Sep 27, 2026竞品关键词调研的自动化流程 从竞品差距分析导出两万个关键词,约一半只是同一词换了词序。真正的瓶颈在导出之后那一小时:一个好问题变成一堵近似重复词组成的墙,外加三种不同口径的搜索量。…
  3. Sep 26, 2026PostgreSQL 复制槽上限参数 max_replication_slots 解析 max_replication_slots 决定共享内存中复制槽数组的长度,仅此而已。它不决…
  4. Sep 26, 2026五仓库架构踩坑:Gitlink 与双 CI Flude 团队复盘了多仓库架构的实践代价。项目从第一分钟起就选择拆分成独立仓库,Pipeline、engine、design-docs…
  5. Sep 26, 2026Xeno Core:TypeScript 后端架构框架 Node.js 复杂系统的架构选型往往决定代码的长期命运。开发者常在两条路之间纠结:要么依赖重度使用实验性装饰器和反射(如…
  6. Sep 25, 2026用 SLO 给 AI Agent 的行为定个预算 Grafana Labs 提出把可靠性工程里的错误预算(error budget)思路用到 AI Agent 上。延迟、token…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →