З’явився новий пошуковий бот – GPTBot

Привіт, друзі.

OpenAI щойно запустив пошуковий GPTBot призначений для автоматичного сканування даних з усього інтернету. Ці дані будуть використані для навчання майбутніх моделей ШІ, таких як GPT-4 і GPT-5!

Повідомляється, що розробники гарантують, що джерела, які порушують конфіденційність, і платний контент, будуть виключені зі сканування ботом.

Щоб заборонити GPTBot доступ до вашого сайту, ви можете додати відповідні правила до robots.txt свого сайту:
User-agent: GPTBot
Disallow: /

Щоб надати GPTBot доступ до певних частин вашого сайту, ви можете прописати це у robots.txt для вашого сайту таким чином:
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

🔥 Порадьте канал SEO inside своїм друзям!