📕 The text file that runs the internet - хорошее вечернее чтиво об истории файла robots.txt. О том какую роль он играл в истории, и какова его судьба сегодня, в век искусственного интеллекта и нейросеточек, которые обучаются на доступном в сети контенте...

https://www.theverge.com/24067997/robots-txt-ai-text-file-web-crawlers-spiders

#web #robots #напочитать