Чому раніше Google Merchant Center забирав фіди без проблем, а зараз — ні?

Якщо покопатися на іноз ресурсах, блогах і тд.

Це питання зараз звучить найчастіше.
Коротка відповідь: зміни відбулися з двох сторін одночасно — і з боку Google, і з боку систем безпеки сайтів.
⸻
🕰 Як це працювало раніше
Раніше схема була дуже проста:
• Google Merchant Center приходив за посиланням на фід
• сервер сайту віддавав файл
• системи захисту майже не втручались

Scheduled Fetch (планове завантаження фіда) —
це коли Google автоматично, за розкладом, сам приходить по URL і забирає файл.

Тоді цей запит:
• виглядав “нормально”
• не викликав підозр
• спокійно проходив через захист сайту
⸻
🔄 Що змінилося з боку Google
Google не робив гучних анонсів, але по факту:
• Google чітко відокремив сканування сайтів і забір даних
• для фідів використовується окремий бот — FeedFetcher
(це не Googlebot, а спеціальний “збирач” даних для Merchant Center)

FeedFetcher:
• працює автоматично
• приходить регулярно
• не використовує браузер (без JS, cookies, кліків)
• забирає великі файли (XML, CSV)

➡️ Тобто виглядає як чистий машинний запит.
⸻
🔐 Що змінилося з боку Cloudflare та інших систем захисту

Cloudflare — це популярна система захисту сайтів
(антибот, firewall, захист від атак).

За останній час Cloudflare та подібні системи:
• стали агресивніше фільтрувати ботів
• перейшли з простих правил на поведінковий аналіз
• більше не довіряють просто назві бота

Тепер перевіряється:
• чи є взаємодія, як у людини
• чи працює JavaScript
• чи є cookies
• як часто повторюються запити
• який обʼєм даних запитується

FeedFetcher:
• не клікає
• не виконує JS
• приходить регулярно

➡️ І часто потрапляє під підозру, навіть будучи легальним Google.

⸻

⚠️ Важливий момент

Це не помилка фіда і не баг Merchant Center.

Це результат того, що:

Google оптимізував автоматичний забір даних
а системи захисту посилили боротьбу з ботами

І ці два процеси почали конфліктувати.

⸻

🧩 Чому це видно одразу на різних платформах

Тому що проблема:
• не у WordPress
• не у Prom.ua
• не в плагінах

А в тому, що автоматичний забір фідів більше не є “безпечним за замовчуванням”.

⸻

🟢 Що з цього випливає

Те, що раніше “просто працювало”, тепер:
• або потребує окремих дозволів у захисті
• або потребує проміжного шару між сайтом і Merchant Center

📌 Головна думка

Проблема зʼявилась не раптово.
Просто Google і системи безпеки сайтів перестали “розуміти один одного” за замовчуванням.

П.С. Не перетендую на істинність, але погуглила і прийшла до цього висновку. Якщо є специ які розуміються на цьому краще - відпишіть будь ласка.