Post #16
12

Как это вообще работает изнутри
У каждой площадки своя логика. FL.ru отдаёт список заказов относительно честно. Kwork устроен иначе. HH.ru вообще отдельная история, там скорее вакансии, но удалёнка и проекты тоже есть.
Парсер заходит на каждую из 6 площадок раз в час и забирает свежее. Не всё подряд, только то, что появилось или обновилось.
Запросы идут с паузами и лимитами по каждой площадке отдельно. Иначе либо бан, либо площадка просто перестанет отвечать.
Дальше нормализация. Заказ с FL.ru и заказ с Kwork выглядят совершенно по-разному, но в базе они становятся одной структурой. Иначе никакой матчинг с твоим профилем был бы невозможен.
Заказы старше 3 дней без активности деактивируются. Старше 30 удаляются. База сейчас: ~21 700 живых заказов.
Одна из неочевидных проблем - дубли. Один и тот же заказ может появиться дважды с разными id.
Дедупликация по паре «площадка + внешний идентификатор» решает это тихо, без лишнего шума.
Ссылка → worksonar.ru
У каждой площадки своя логика. FL.ru отдаёт список заказов относительно честно. Kwork устроен иначе. HH.ru вообще отдельная история, там скорее вакансии, но удалёнка и проекты тоже есть.
Парсер заходит на каждую из 6 площадок раз в час и забирает свежее. Не всё подряд, только то, что появилось или обновилось.
Запросы идут с паузами и лимитами по каждой площадке отдельно. Иначе либо бан, либо площадка просто перестанет отвечать.
Дальше нормализация. Заказ с FL.ru и заказ с Kwork выглядят совершенно по-разному, но в базе они становятся одной структурой. Иначе никакой матчинг с твоим профилем был бы невозможен.
Заказы старше 3 дней без активности деактивируются. Старше 30 удаляются. База сейчас: ~21 700 живых заказов.
Одна из неочевидных проблем - дубли. Один и тот же заказ может появиться дважды с разными id.
Дедупликация по паре «площадка + внешний идентификатор» решает это тихо, без лишнего шума.
Ссылка → worksonar.ru



