В попытке решить проблему задержки генерации больших языковых моделей (LLM) был разработан новый подход Skeleton-of-Thought (SoT). Мотивированный человеческим мышлением и процессом написания текста, SoT направляет LLM сначала на генерацию "скелета" ответа, а затем параллельно заполняет его содержанием. В результате достигается поразительное ускорение до 2,39 раза для 11 различных LLM без потери целостности последовательного декодирования.

Отличительной особенностью SoT является ее потенциал повышения качества ответов с точки зрения разнообразия и релевантности, что проливает свет на интересное направление развития ИИ. Как первая попытка оптимизации, ориентированной на данные, для повышения эффективности, SoT демонстрирует увлекательную возможность появления машин, которые могут мыслить как люди.

Ссылка на документ: https://arxiv.org/abs/2307.15337

Подробный обзор статьи:
https://andlukyane.com/blog/paper-review-sot