长上下文LLM在长上下文学习中的挑战

长上下文LLM在长上下文学习中的挑战论文信息 标题: Long-context LLMs Struggle with Long In-context Learning 作者: Tianle Li, Ge Zhang, Quy Duc Do, Xiang Yue, Wenhu Chen 发布日期: 2024-04-02 ArXiv链接: https://arxiv.org/abs/2404.02060 核心概述大型语言模型(LLM)在处理长序列方面取得了重大进展。一些模型如Gemini甚至声称能够处理数百万token。然而,它们的性能评估主要局限于困惑度和合成任务等指标,这些指标可能无法完全捕捉它们在更具挑战性的真实场景中的真实能力。 本文提出了LongICLBench,一个全面的基准测试套件,专门评估长上下文LLM在实际长上下文学习任务中的表现。基准包含多个领域的真实任务,如文档问...

阅读全文