Где-то в FB случайно пролистал мимо обсуждения того, что для WordPress сайтов часто пишут такую строку в robots.txt и она скорее всего ошибочна
Allow: /wp-admin/admin-ajax.php. Вспомнил старую шутку, где продавец в магазине надкусил все конфеты ибо на коробке они были нарисованы именно так (я бы написал комментарий и помог ребятам, но уже не могу найти этот вопрос). Внешне может показаться, что закрывать админ ресурсы это логично, но в самих проектах не все может быть сделано логично. Да, admin-ajax часто используют для фишек по типу совместного редактирования статей, но не только.
Например, данный файл в WordPress может использоваться плагинами для того, чтобы выполнить какой-то wp_query для подгрузки контента без перезагрузки всей страницы. Часто слышу мнения о том, что некоторые шаблоны для WordPress Google любит больше, но ведь если это и так, то всегда есть причина. Например, шаблон может требовать для полного функционала установку дополнительных плагинов. Вы их установили, а потом сверху еще залили какой-то свой "стандартный" robots.txt. Вы закрыли в нем всю папку /wp-admin/ от сканирования, а потом окажется, что один из плагинов, который отвечает за блоки "последние посты" или за другой важный контент, использует admin-ajax.php и поисковая система просто никак, даже с использованием WRS, не увидит ссылки на другие страницы, вы потеряете в внутренней перелинковке, а может и получите orphan pages, а может и просто потеряете в видимости часть контента (все зависит от того, что за запрос).
Посмотреть на все запросы в удобном виде вы можете через networks waterfall. Либо через Google dev tools (вкладка Network и перезагрузить страницу), либо через tools pingdom. Например, в dev tools вы можете поискать запрос на admin-ajax, выбрать его, перейти в вкладку preview и посмотреть что его может вызывать (зачастую, но не всегда).
Лучше иногда потратить 10-15 минут на погуглить что это за файл или спросить у разработчика, чем потом полгода думать почему же сайт не лезет.