▫️ فکر کردی گــوگــل هر صفحه‌ای از یه سایت رو نگاه می‌کنه؟
نــه دیگــه!

اول یه برگه راهنما رو می‌خونه.
اسم اون برگه robots.txt هست.

💠 فرض کن یه فروشگاه بزرگ داری

📝 دم در یـه تـابلـو زدی:
«انبار ممنوع!»
«دفتر مدیریت ممنوع!»
«فقط سالن فروش رو ببین.»

🤖 ربات‌های گوگل هم قبل از اینکه وارد سایت بشن، ایـن تـابلـو رو مـی‌خـونـن

🖥 سـایـت بهشـون میـگه:
«کجاها رو ببین، کجاها رو نبین.»

🔥🔥🔥🔥🔥🔥🔥🔥
😅 خلاصه بگمت robots.txt مثل تـابلـوی راهنمـای دمِ درِ سـایتـه؛ به ربات‌های گوگل میگه اجازه دارن کجا برن و کجا نرن.

✅ کل داستان robots.txt یه فـایـل متنـی کـوچیکـه که داخل ریشه سایت گذاشته میشه.

✅ هر کسی هم بخواد ببینتش، فقط کافیه آخر آدرس سایت بنویسه:
🔗google.com/robots.txt

#️⃣ #مبانی_پایه

⭐️ @sourceiran