🔹 اگر صاحب سایت هستید و از CDN استفاده می‌کنید حتما بخوانید

❌ جان مولر، متخصص بخش سرچ گوگل، در تازه‌ترین قسمت پادکست Search Off the Record به مشکلی اشاره کرده که به گفته او تشخیصش ساده نیست، اما می‌تواند باعث شود صفحات سایتتان به‌مرور از نتایج گوگل حذف شوند.

🛡 ماجرا از این قرار است که بعضی سرویس‌های امنیتی، گاهی Googlebot را به‌اشتباه یک ربات مخرب تشخیص می‌دهند و به‌جای محتوای واقعی سایت، صفحه «Are you a bot?» را به آن نمایش می‌دهند.

⚠️ گوگل هم دقیقاً همان صفحه را می‌بیند و ایندکس می‌کند. از آنجایی که این صفحه روی هزاران سایت تقریباً یکسان است، ممکن است آن را محتوای تکراری تشخیص دهد و حتی نسخه اصلی (Canonical) را متعلق به یک سایت دیگر بداند. نتیجه؟ صفحه شما از نتایج جستجو کنار گذاشته می‌شود، در حالی که خودتان هیچ نشانه‌ای از این مشکل نمی‌بینید.

‼️ مولر می‌گوید پیدا کردن این ایراد ساده نیست؛ چون کاربران عادی همچنان محتوای سایت را می‌بینند و فقط Googlebot با صفحه متفاوتی روبه‌رو می‌شود. برای همین باید در Google Search Console، گزارش‌های Page Indexing و URL Inspection را بررسی کنید و ببینید گوگل دقیقاً چه محتوایی دریافت کرده و چه صفحه‌ای را Canonical انتخاب کرده است.

✅ اگر از CDN یا WAF استفاده می‌کنید، مطمئن شوید Googlebot بدون چالش امنیتی یا صفحه «Are you a bot?» به محتوای سایت دسترسی دارد. گاهی تنها یک تنظیم اشتباه در لایه امنیتی، می‌تواند تمام زحمات سئوی شما را تحت تأثیر قرار دهد.