🖥 Sitefetch (https://github.com/egoist/sitefetch) — это инструмент для загрузки и сохранения содержимого веб-сайта в текстовом формате, который оптимизирован для взаимодействия с моделями искусственного интеллекта.

🌟 Он извлекает текст с выбранных страниц, преобразуя HTML в удобочитаемый текстовый файл. Это может быть полезно для обучения языковых моделей или анализа контента.

💡 Основные функции включают настройку выборки контента с помощью CSS-селекторов, фильтрацию страниц по шаблонам URL, а также управление количеством одновременных запросов для повышения производительности. Sitefetch легко устанавливается через пакетные менеджеры, такие как npm, pnpm или bun, и поддерживает как командную строку, так и API для интеграции в другие приложения.

🔐 Лицензия: MIT

🖥 Github (https://github.com/egoist/sitefetch)