Google предложил метод улучшения архитектуры Transformers на этапе inference

Метод называется recirculation, который позволяет модели лучше помнить и переиспользовать то, что она уже выяснила, вместо того, чтобы заставлять её рассуждать вслух.​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​