На деле всё куда прозаичнее (и полезнее для разработки).
Проблема выгрузки текста и обхода soft-paywall (всплывающих окон, как на Medium) решается за 30 секунд:
→ Берём ссылку на нужную статью → Добавляем перед ней
https://r.jina.ai/ → Получаем чистый Markdown без баннеров, скриптов и визуального мусора
Никакой магии и «сливов». Это официальный открытый бесплатный Reader API от компании Jina AI, созданный специально для подготовки веб-данных под LLM.
Под капотом инструмент просто парсит HTML, обходя базовые блокировщики скрейперов.
Важное уточнение: жёсткие пейволы (где текст не отдается сервером без авторизации, как у WSJ) он не пробьёт. Но для 80% повседневного ресерча и создания RAG-пайплайнов — это абсолютный мастхэв.
Сохраняйте 📌 — точно пригодится
#AI #LLM #AIAgents