🖥 Sitefetch — это инструмент для скачивания и сохранения содержимого веб-сайта в текстовом формате, оптимизированный для работы с моделями искусственного интеллекта!

🌟 Он извлекает текст с указанных страниц, обрабатывая HTML в удобочитаемый текстовый файл. Это может быть полезно для обучения языковых моделей или анализа контента.

💡 Ключевые возможности включают настройку выборки контента с использованием CSS-селекторов, фильтрацию страниц с помощью шаблонов URL, а также управление одновременным количеством запросов для повышения производительности. Sitefetch легко устанавливается через пакетные менеджеры, такие как npm, pnpm или bun, и поддерживает как командную строку, так и API для интеграции в другие приложения.

🔐 Лицензия: MIT

🖥 Github

@javascriptv