Сайт работает, контент есть, SEO вроде настроено — а органического трафика из Google нет. Одна из частых причин: отсутствует или недоступен файл robots.txt.
Googlebot перед сканированием любого сайта сначала проверяет robots.txt. Если файл недоступен или сервер возвращает ошибку, краулер не рискует — останавливается и не индексирует страницы. Нет индексации — нет позиций в поиске. Нет позиций — нет трафика.
Проверить просто: откройте ваш-сайт.ru/robots.txt в браузере. Если видите 404, 500 или пустую страницу вместо текстового файла — проблема найдена. Google Search Console тоже покажет ошибку "robots.txt unreachable" в разделе покрытия.
Создайте файл robots.txt в корневой папке сайта. Минимальный вариант, который разрешает индексацию всего:
User-agent: *
Allow: /
Загрузите файл на сервер, чтобы он был доступен по адресу домен.com/robots.txt. Проверьте в браузере — должен открыться текст файла.
Без этого файла можно месяцами ждать трафика и не понимать, почему Google игнорирует сайт. Два килобайта текста решают проблему.
📍 Навигация: Вакансии • Задачи • Собесы
🐸 Библиотека devops'a
#root_prompt