ИИ-поисковик представил Photon – движок, который находит и ранжирует веб-страницы, прежде чем языковая модель соберёт по ним ответ.
На основе него компания выпустила новый быстрый режим своего Search API для агентов, которым важна скорость. В нём движок работает в паре с ранжированием, настроенным под агентные сценарии.
🟡Механика
Photon ищет по словам через инвертированный индекс, то есть по спискам документов для каждого термина.
Короткие списки хранятся прямо в индексе, длинные – блоками в виде разреженных массивов или битовых карт, а номера документов сжаты кодированием Элиаса – Фано.
На каждую страницу заведена компактная запись с частотами слов, их позициями и полями, где они встречаются, и распаковывается она по частям.
Ранжирование идёт в два этапа, а обход списков в духе WAND заранее отсекает документы, которые не попадут в выдачу.
Данные читаются асинхронно, кэш освобождается по алгоритму
CLOCK, а индекс собирается отдельно от обслуживания запросов, параллельно через MapReduce.🟡Бенчмарки
Один поисковый вызов в быстром режиме занимает 160 мс по медиане и 230 мс в 95-м перцентиле.
На 3554 задачах из шести агентных бенчмарков (WideSearch, BrowseComp, DSQA, FRAMES, SEAL-0 и SEAL-Hard) быстрый режим набрал 64,3% при оценочной стоимости модели и поиска 59,73 доллара, стандартный – 64,0% при 187,60 доллара.
Во внутренних тестах быстрый режим уступает стандартному в качестве выдачи.
Релевантность по метрике DCG снизилась с 2,45 до 2,21, доля запросов, где в найденных страницах есть ответ, – с 59,6 до 56,7%.
В рабочей нагрузке задержка по 99-му перцентилю внутри самого Photon упала примерно с 800 до 65 мс, без учёта следующих стадий поиска.
При этом движок хранит примерно в 2,5 раза больше данных на документ и обходится примерно на 20% меньшим числом серверов, чем прежняя система.
Photon уже работает внутри Perplexity, а быстрый режим открыт в Search API.
@ai_machinelearning_big_data
#news #ai #ml