Кстати про общение агентов: Microsoft недавно выпустили крутую статью про то, как ускорить коммуникацию между моделями

Представьте, что двух человек, у которых общий родной язык, заставляют говорить между собой на иностранном. Даже если оба владеют им хорошо, скорость донесения мыслей все равно будет меньше по сравнению с разговором на родном, потому что оба думают на одном языке, а говорят на другом.

В Microsoft попытались проверить, так ли это работает с моделями: вместо того, чтобы заставлять агентов общаться на не родном английском, исследователи научили их коммуницировать на родном машинном. Говоря конкретнее, один агент передает другому не полный контекст запроса на естественном языке, а просто E-cache и KV-cache. Это позволяет сократить время задержки ответа в 2,78 раз за счет того, что ответчику не нужно внутри себя "переводить" текст, то есть заново токенизировать, вычислять маски внимания и эмбеддинги.

Основных минуса два. Во-первых, так как разные модели по-разному вычисляют тензоры E-cache и KV-cache и даже токенизируют текст различно, подход пока работает только с разными экземлярами одной и той же базовой модели. Во-вторых, при таком общении наблюдаются небольшие потери в точности. В статье показано, что они совсем незначительные, но не исследуется, как они масштабируются.

Оригинальная статья здесь