Писали минулого разу, що з 100 перевірених сайтів приблизно
34% закриті хоча б для одного бота OpenAI, а robots.txt при цьому показує «все відкрито», бо блок стоїть на фаєрволі.Тепер подивились а чи бот взагалі приходив. Глянули логи десяти проєктів на GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot і PerplexityBot. У
3 з 10 не було жодного звернення.Search Console, натомість, у таких випадках показує повний порядок: сторінка проіндексована, здорова, помилок немає. Googlebot і retrieval-боти це різні системи, і GSC про другу нічого не знає. Тобто можна місяцями вилизувати структуру заголовків на сторінці, яку жодна модель ніколи не завантажувала.
Звідси два різні питання:
1️⃣ Це доступ - чи отримав краулер узагалі щось придатне, які коди відповіді, чи не летить редирект у нікуди.
2️⃣ Це придатність до витягування - чи лежить основний контент у HTML, а не підвантажується джаваскриптом після завантаження, і чи витримує абзац вилучення з контексту.
Ми писали про чанки раніше, що у відповідь іде не сторінка, а окремий абзац. Звідси і перевірка. Варто витягнути коротку відповідь з-під заголовка і подивись, чи вона взагалі зрозуміла окремою думкою для AI.
У кого є логи під рукою, поділіться, цікаво порівняти.
#технічка