пост выше был подспорьем для того, чтобы показать стимулы и принципы компании и ее основателя.

вопрос важный. но имхо для билдеров нет времени растекаться в этических чажбах, если ты не заскрапишь, это сделает другой. мое мнение вообще радикальное, если бы сайты просто за $ давали бы доступ к своей elastic search, то всем участникам жилось бы лучше. проблема даже может быть не в праве на контент, а в том, что боты часто создают dos-подобный трафик и это становится заметно на облачном биллинге. а скрапинг нельзя победить, его можно только сделать экономически невыгодным.

думаю, что изначально cloudflare пытался создать маркетплейс где ai краулеры платят за контент который скрапят.

но, почти никто этого не хочет. если продаешь товары или услуги, то хочешь чтобы ai скрапил и давал трафик. чекаут (пока) происходит на твоей стороне.
другой вопрос, с медиа - если контент это продукт, то AI выступает заменителем.

но чтобы маркетплейс сработал, нужен контент который AI краулеры хотят настолько сильно что готовы платить. они хотят две категории: абсолютно все (количество) + лучший уникальный контент.

но лучший контент не будет в маркетплейсе. самые ценные игроки идут самостоятельно (reddit лицензирует напрямую google; nyt напрямую с amazon; wp с open ai).

да и тренд уже шел до LLM: премиум контент уходит за пейволлы (ньюслеттеры), те авторы блогов на wordpress, которых cloudflare защищал 15 лет назад истощились.

cloudflare сейчас делает ограничения на AI скрапинг опциональным (opt out). но получается такой маркетплейс шрёдингера - не может работать пока все не подключатся, но если все подключились, но по мере подключения других участников, стимул отключиться вырастает. индивидуальный оптимум - остаться открытым, получить трафик от больших AI.