#AI论文
将文本context限制增加到1百万token

GPT-4 处理 context 限制为32,768个token（大约50页文档），整个《哈利·波特》系列大约有1.5百万个token。

摘要：本文介绍了recurrent memory在BERT中的应用，BERT是自然语言处理中最有效的基于Transformer的模型之一。通过利用Recurrent Memory Transformer 架构，我们成功将模型的有效上下文长度增加到前所未有的两百万个token，同时保持了高的内存检索精度。我们的方法可以存储和处理本地和全局信息，并通过循环使用使输入序列段之间的信息流动成为可能。

— 更多详情