Post #4822
505
Вышел 108-й выпуск подкаста Google Search Off the Record, в котором Мартин Шплитт и Гэри Ийеш рассказали о планах создать список не поддерживаемых Google директив файла robots.txt. Для этого они проанализировали данные HTTP Archive, чтобы понять, какие директивы используются в файлах robots.txt чаще всего.
YouTube Analysing Robots.txt at scale with HTTP Archive and BigQuery In this episode of Search Off the Record, Martin and Gary turn a simple robots.txt question into a data‑driven deep dive using HTTP Archive, WebPageTest, custom JavaScript metrics, and BigQuery. They explore how millions of real robots.txt files are actually…