Кеш кандидатов: как рекомендеры VK тратят меньше железа

Каждый запрос к рекомендеру стоит дорого: система собирает кандидатов, прогоняет их через ранжирование, а в выдачу попадают лишь единицы. На большом трафике даже лишние сто кандидатов превращаются в сотню лишних проходов модели.

Команда AI VK предположила, что соседние запросы одного пользователя похожи. Человек не успевает полностью поменять интересы между двумя открытиями ленты, поэтому большинство сильных кандидатов уже найдено на предыдущем запросе.

Это подтвердилось на данных, после чего мы сделали кеш кандидатов: сохраняем лучшие результаты предыдущего запроса и используем их в следующем. При этом кандидаты заново проходят ранжирование, так что рекомендации остаются актуальными.

На кешированный режим уже переведены VK Видео и VK Клипы, а потребление CPU, RAM, NVMe и сети снизилось.

➡️ О том, как устроен кеш и как мы нашли баланс между экономией железа и качеством рекомендаций, рассказываем на Хабре.


#AIVK #aivkhub #хабр #кешрекомендаций #recsys