Infinite Retrieval: 基于注意力增强的无限长上下文处理

论文概述Infinite Retrieval(InfiniRetri)是一项突破性的研究成果，解决了大语言模型在处理超长上下文输入时面临的核心挑战。该方法的创新之处在于利用模型自身的注意力信息来实现对无限长输入的精确检索，而无需任何额外训练。研究团队发现模型的注意力分布与生成答案之间存在强相关性，基于这一洞察设计了InfiniRetri方法。在Needle-In-a-Haystack测试中，该方法处理超过100万token时达到100%准确率，在真实场景中带来高达288%的性能提升。 论文信息： 发布时间：2025-02-18 作者：Xiaoju Ye, Zhichun Wang, Jingyuan Wang 研究方向：上下文工程 (Context Engineering), 长上下文处理 (Long-Context Processing) 核心技术：注意力增强 (Attentio...

阅读全文