Проблема поискового оркестратора в Perplexity

Когда человек приходит в поиск с вопросом про погоду, он ожидает быстрый ответ. Не нужно разворачивать всю мощь лучших в мире LLM, парсить на лету 200 источников, делать три слоя реранкинга и ещё черт знает что. Это займет кучу времени.

Искусство понять сложность запроса, правильно выбрать из систем разной сложности и профиля, и собрать правильный каскад из систем - это задача оркестрации запроса. Она же - задача роутинга, она же - задача метапоиска. Одна из самых интересных задач в IT-инженерии.

CEO Perplexity Aravind Srinivas рассказывает в подкасте что самая сложная задача которую они сейчас решают это именно проблема оркестрации и создания правильного набора систем за оркестратором. С его слов, кто решит эту проблему в новом LLM-мире, сможет построить следующий Google.

Я помню свой разговор с одним из основателей ABBYY. Он рассказывал что их ключевой ноу-хау это не сами OCR-модели, а как раз правильный каскад из моделей. Лёгкая модель определяющая задачу, дальше в зависимости от результата выбор из путей, и так до 50 разных моделей в каскаде.

В текущих AI-системах вроде ChatGPT эта проблема тоже плохо решена. Пользователю самому приходится решать "достаточно ли моя задача сложная для o3 или можно в 4o сходить". Это, конечно, неудобно.

Кстати, рекомендую и конкретный подкаст, и всю серию подкастов How to Build Future от Y Combinator