仔细想想，这个和机器学习里的 grid search 理念有点相似。

grid search 是在机器学习中找 hyperparameter 时常用的方法。即暴力穷举各种可能，然后开始跑 cross validation。当然一次只能针对一个算法跑，所以局限在机器学习的场景里。

最近碰到清洗数据的问题，最早用了基于规则的方法清洗，几乎所有 agent 给出的最先方案都是这些。当然拿来做 baseline 也不错。但很快就遇到瓶颈。于是我想着本地能跑的模型性能也还不错，不如再加上 llm，这些是现在业界常用的清洗方法。

两种方法各有长短：

1. 基于 regex 的规则写起来快，处理速度也快，但是维护起来困难，而且非常容易 overfit

2. nlp 写起来慢，处理起来也慢，但是维护起来相对容易，也更容易拓展到新数据上。

上面的截图里，baseline 是基于 regex 写的规则，抽取率是 31%。我希望达到的目标是提高抽取率，同时慢慢用 nlp 取代冗长的 regex 规则，经过 A - G 轮的迭代，抽取率从 31% 提高到了68%，直接翻番。

全程我就是定义了目标，让 claude 自己读取文档，然后根据数据写 regex，写 nlp 算法，然后自行组合做 auto-research，半天时间就把抽取率翻倍，这在以前想都不敢想！