Спарсить все новости России и застрять на пару месяцев

Я люблю что-нибудь парсить. У меня в голове давно была мысль регулярно собирать все новости России, чтобы можно было посмотреть их дистрибуцию. Просто потому что интересно. Это было ошибкой.

Да чо там, настроить парсинг и сделать простой дизайн займет неделю, думал я. Что может пойти не так?

Что в итоге сделал:
- пришлось реверс инжинирить запросы к апишке в приложениях новостей: парсить больше 40 сайтов, чтобы оно всё стабильно работало дело не благодарное
- нужно как-то управлять парсером, приспособил для этого дела префект https://www.prefect.io/
- настроить всякие ETLки для обработки и фильтрации данных: привести слова к нормальной форме, убрать союзы, предлоги, частицы, местоимения, наречия, бессмысленные слова
- фронт стал головной болью, так как я по бекенду и не люблю фронт, пока придумал идею, пока сделал что-то хоть как-то работающее,благо есть курсор но всё равно получилось не очень
- нужно сделать апишечку чтобы раздавать данные на фронт, привет fastapi
- настроить базовую безопасность: всякие кросс ориджин запросы, рейтлимиты, разрешённые хосты и прочее
- задеплоить весь этот зоопарк: нджинкс за которым префект сервер, префект воркеры, фронт и бек в докере
- ну и мониторить хорошо бы: простой обработчик ошибок и эксепшенов, который шлёт всякое в телеграм
- придумать название и купить домен, настроить днсы, установить сертификаты

Что в итоге? Было конечно интересно и поучительно. Много нового узнал. Фронт правда выглядит не так как я хотел, но как есть. Что дальше с этим делать непонятно. Сейчас в базе 86019 новостей с начала этого года.

А ну и ссылка на сайт: https://fromrussiawithnews.com/ Там самые частотные слова в новостях по разным регионам. Такая средняя температура по больнице. Если прблизить, то можно даже что-то прочитать.

Основная мысль этого проекта: больше не буду что-то начинать делать, если нет хотя бы примерного плана как это можно монетизировать.