Парсинг - второй тип контента, которым я наполняю свои ПБН

Вчера я писал, как у меня работает АИ генерация по ключам. Второй источник контента в ПБН 3.0 - парсинг тематических сайтов. Здесь тоже строится отдельная система, ща распишу, что делается:

1. Сначала я выбираю источники под конкретную ПБН

Допустим, у меня тот же спортивный сайт. Мне не нужен один огромный донор, с которого я буду напостой копировать все. Я специально собираю сборную солянку из нескольких источников. Например, под один ПБН могу выбрать 5 разных доноров и с каждого парсить всего по 1-2 нужные мне категории. И уже из этого собирается один полноценный спортивный портал. То есть мой ПБН не становится копией одного конкретного сайта. У него получается свой набор источников, своя структура категорий, свое расписание публикаций, своя перелинковка и свой микс материалов. И для каждого следующего ПБН этой же тематики этот набор можно менять:

🟢 другие доноры
🟢 другие категории
🟢 другие пропорции контента
🟢 другие лимиты

В итоге даже внутри одной тематики сайты получаются разными

2. Потом выбираются конкретные категории

Мне не обязательно парсить весь сайт. Условно на одном доноре есть:

🟦 Донор 1 - футбол и лига чемпионов
🟦 Донор 2 - бокс и мма
🟦 Донор 3 - теннис
🟦 Донор 4 - формула-1
🟦 Донор 5 - баскетбол + хоккей

Я забираю с донора только по правилам:

🟢 откуда брать
🟢 что брать
🟢 куда это должно попадать

3. Под это создается структура самого ПБН

Это тоже автоматизируется. Если я запускаю новый спортивный ПБН, под проект задается структура, типо если это Спорт:

🟢 Футбол
🟢 Бокс
🟢 MMA
🟢 Теннис
🟢 Баскетбол
🟢 Хоккей
🟢 Автоспорт

При необходимости можно делать еще глубже, типо например:

Футбол:

🟢 Украина
🟢 Англия
🟢 Испания
🟢 Италия
🟢 Лига чемпионов

И дальше разные источники уже привязываются к конкретным точкам этой структуры. Причем гугл и пользователь видят не: вот сайт 2, который полностью скопировал и спиздил контент с сайта 1, а отдельный ресурс, внутри которого собран контент из разных источников и тематических направлений, плюс добавляются другие типы контента. Потому что кроме парсинга на том же ПБН у меня могут параллельно работать: аи-генерация плюс рерайт плюс переводы. В результате получается уже достаточно большая сборная солянка из разных типов и источников контента.

4. Дальше настраивается маппинг

По сути я один раз говорю платформе: эта категория донора ложится вот в эту категорию акцептора. Например:

👉 Донор 1 /football/ в ПБН /football/
👉 Донор 2 /ufc/ в ПБН /mma/
👉 Донор 3 /formula-1/ в ПБН /autosport/formula-1/

5. Отдельно задается частота парсинга

Для каждого источника и каждой категории можно выставить свои правила, типо “футбол” проверяем часто, “новости” - каждый час и так далее. Причем благодаря тому, что источников несколько, я могу регулировать пропорции контента на самом ПБН. Например:

🟦 Донор 1 - максимум 5 публикаций в сутки
🟦 Донор 2 - 3
🟦 Донор 3 - 7
🟦 Донор 4 - 2
🟦 Донор 5 - 5

И в результате один источник не забивает собой весь сайт. Получается нормальный микс контента из разных мест.

6. Забирается не только текст

Если материал подходит и нормас, дальше система может обработать всю полезную структуру публикации:

🟢 заголовок
🟢 текст
🟢 подзаголовки
🟢 списки
🟢 таблицы
🟢 изображения
🟢 часть дополнительной разметки

7. Отдельная история - исходящие ссылки

Исходящие ссылки закрываются в нофолоу.

8. Потом добавляется моя внутренняя перелинковка

Система понимает тематику и может связать похожие страницы между собой по смыслу.

9. Дальше всё публикуется автоматически

Тут все просто, задается расписание, сколько статей, с каких категорий в какие парсить.

10. Индексация

Как и с аи-контентом. После публикации урл автоматически попадает в индексатор.

Всех обнял 🫂
__________
Нужны ссылки? пиши в лс - @andrey_soroka
СНГ/Бурж (гемблинг,казино,дейтинг,крипта и белые проекты)