Еще один пунктик в копилку - неудачно парсить сайт логистического агентства обороны США

В общем клиент хочет автоматизировать анализ тендеров с этого сайта.

Сейчас он загружает вручную архив и распаковывает сотни файлов на 500 мб, после чего прогоняет все через Gemini.

Он написал, что хорошо было бы автоматизировать этот процесс - чем я и занялся.

У них все супер просто и публично - жмешь ОК на баннере, записываются куки и ты можешь качать любые файлы.

Я попробовал прогнать через n8n - сработало.

Дальше дело техники - качаем отдельный TXT файл, где есть название всех файлов, находим на сайте ссылку на прямое скачивание единичного файла и далее утыкаемся в рандомное число в этой ссылке (от 1 до 9).
Пример с 4 - https://dibbs2.bsm.dla.mil/Downloads/RFQ/4/SPE1C125Q0474.PDF

Я уже подумал, что это будет легко перебрать, ведь остальные ссылки битые и после перебора вручную пары таких ссылок я получил уведомление о том, что произошла ошибка и о ней доложат.

Не совсем уверен, в каком именно свете о ней доложат, но думаю продолжать не стоит, а то даже у Таиланда есть экстрадиция в США.