❌ گوگل زیر پا گذاشتن robots.txt را با NotebookLM تأیید کرد!

⚠️ گوگل در سند رسمی List of Google User-Triggered Fetchers اعلام کرده است که ابزار هوش مصنوعی NotebookLM، برخلاف ربات‌های معمول، قوانین فایل robots.txt را نادیده می‌گیرد!

در این مستند، گوگل توضیح داده که چون NotebookLM محتوای سایت را به درخواست کاربر بارگذاری و تحلیل می‌کند، محدودیت‌های robots.txt برای آن اعمال نمی‌شود. به این ترتیب، NotebookLM می‌تواند به صفحاتی که عمداً از ایندکس خارج شده‌اند نیز دسترسی داشته باشد و محتوای آن‌ها را مورد استفاده قرار دهد.

در نتیجه، گوگل در ابزارهای هوش مصنوعی خود از چارچوب سنتی ایندکس وب فاصله گرفته است؛ تغییری که می‌تواند بر امنیت داده‌ها و حفظ محتوای اختصاصی سایت‌ها تأثیر بگذارد.

💡 اگر قصد دارید از دسترسی NotebookLM به برخی صفحات جلوگیری کنید، پیشنهاد می‌شود User Agent با نام Google-NotebookLM را در افزونه‌های امنیتی مانند Wordfence یا در فایل .htaccess مسدود کنید.

🌐 @iranservercom
#سئو #هوش‌مصنوعی