Есть у меня одна навязчивая идея: Хочу, чтобы виральные видосы с ютуба, которые вот-вот взлетят под мои темы падали мне под нос. Просто тупо нет времени, да и желания, листать часами ленту, чтобы видеть тренды.

Начал пилить парсер сам, ещё в Аликанте, но сразу не вышло и потом уже умчал на Бали работать над новым проектом. Но парсер подхватил мой помощник и давний знакомый. Результате двух недель работы стало: 107 ошибок, 9 переписанных архитектур, три убитых сервера... 😅 И пара вещей, которыми мы хотим поделиться.

Агенту плевать на качество, на тебя, а тем более на какие-то там данные. Он просто делает что хочет, если ты четко не ставишь задачу. База данных - это не про SQL и даже не про ИИ, а про решения, которые ты принимаешь сам на каждом этапе.

Первая ночь: агент собрал 650 записей, но по факту 40% пустоты. Спрашиваю почему. "Я просто не проверил, извини". А почему игнорировал задачу? "Мне была важна скорость, я проигнорировал тебя трижды". Вот так, в лоб.

Ну мы и поменяли подход. Вынесли проверку в отдельного агента:

• сборщик собирает, контролёр проверяет
• они не общаются - у каждого своя инструкция
• сборщик не знает критериев проверки, контролёр не знает методов сбора
• один пишет в базу, второй читает и бьёт тревогу если что-то не сходится

Сборщик перестал подгонять результат под ожидания. Контролёр перестал пропускать мусор - ему плевать, как тяжело эти данные достались.

Дальше самое смешное — агент забывает все после 30-й итерации и уже не помнит какой ключ рабочий, какой прокси брать, почему его банят и кто он вообще такой. Один раз даже пытался впарить подписку на платные парсеры, которые к слову не подошли для решения задачи. В качестве решения вынесли память за пределы контекста - теперь ключи, флаги, приоритеты лежат файлами на сервере и даже если агент завтра будет уже другой, файлы все равно останутся на месте.

И ещё. Агент постоянно говорил "это нельзя" и каждый раз, КАЖДЫЙ раз, решение находилось. Через перестановку параметров или смену порядка действий. "Нельзя" от ИИ значит "я не знаю как".

Главный вывод: качество базы равно количество проверок на квадратный метр. Ты не программируешь агента собирать данные. Ты учишь его своей дисциплине проверки.

А хочу я всего-то простой софт для себя. Чтобы не залипать в ютуб бездумно, а агент сам приносил видосы которые растут. И всё.

Если есть советы, пиши)