Firecrawl — это open-source краулер, который вытягивает всё полезное с сайта и превращает в markdown-файл. Подойдёт для обучения LLM или если просто нужно быстро собрать инфу с конкретной страницы.

Работает даже с хитрыми сайтами — обрабатывает динамический контент, JavaScript, PDF и защищённые страницы. Можно подключать к Langchain, LlamaIndex и другим тулзам. Поддерживает Python, Node.js, Go и Rust.

Data Signal