🔴 آمار ربات‌های هوش مصنوعی سایتتان را بدون بررسی IP باور نکنید!

💻 «دواین فارستر» مدیر سابق برنامه وبمسترهای مایکروسافت و از چهره‌های شناخته‌شده سئو در مقاله‌ای که در Search Engine Journal منتشر شده نتایج بررسی لاگ‌های یک سایت تازه‌تأسیس را منتشر کرده است.

📈 او متوجه شد ۸۱.۸٪ درخواست‌هایی که خودشان را ChatGPT-User معرفی کرده بودند جعلی بودند. همچنین از ۷۹۹ درخواست با نام Googlebot فقط ۱۰۷ درخواست واقعاً متعلق به گوگل بود.

⁉️ دلیل این اختلاف چیست؟
نام ربات یا User-Agent به‌راحتی قابل جعل است. فارستر با بررسی و تطبیق آدرس IP درخواست‌ها با فهرست رسمی IPهای منتشرشده توسط گوگل OpenAI و Anthropic توانست ربات‌های واقعی را از ربات‌های جعلی جدا کند.

🖥 اما نتیجه این تحقیق برای سئوکارها یک قانون مهم دارد:
اگر لاگ‌های سرور را تحلیل می‌کنید فقط به نام ربات اعتماد نکنید. معیار واقعی برای شناسایی خزنده‌های گوگل و ابزارهای هوش مصنوعی تأیید IP آن‌ها است نه User-Agent.

❌ اگر این داده‌ها اشتباه تحلیل شوند، می‌تواند به تصمیم‌های نادرست در سئو منجر شود؛ از جمله برداشت غلط از رفتار خزنده‌های گوگل، تخصیص اشتباه منابع سرور، یا حتی مسدود کردن IPهای معتبر.