失败是成功之母:利用负样本增强少样本上下文学习论文信息 标题: Failures Are the Stepping Stones to Success: Enhancing Few-Shot In-Context Learning by Leveraging Negative Samples 作者: Yunhao Liang, Ruixuan Ying, Takuya Taniguchi, Zhe Cui 发布日期: 2025-07-31 ArXiv链接: https://arxiv.org/abs/2507.23211 核心概述大型语言模型展现出强大的少样本上下文学习(ICL)能力,但性能对提供的示例高度敏感。最近的研究集中在为每个输入查询检索相应的示例,这不仅提高了学习过程的效率和可扩展性,还缓解了手动示例选择中的固有偏差。然而,这些研究主要强调利用正样本,而忽略了负样本在上下...

阅读全文

什么使上下文学习在数学推理中有效：理论分析论文概述本文是一篇关于推理能力的研究论文，由 Jiayu Liu 等6位研究者共同完成。 本文提供了首个关于上下文学习（In-Context Learning, ICL）在大语言模型数学推理中有效性的理论分析。虽然少样本示例有时会带来负面性能，其有效性仍不可靠，但这项工作证明了推理效能可以通过面向大语言模型的语义相似性和示例的推理稳定性来限定。基于这一理论基础，作者提出了 LMS3，一种示例选择方法，能够自适应地为不同大语言模型选择最相关的样本，并包含一种新颖的自动拒绝机制来过滤不合适的示例。该方法在多个数据集上实现了一致的改进，而现有方法在这些数据集上均已失败。 研究目标本研究的主要目标包括： 首次通过语义相似性和推理稳定性界定上下文学习推理效能的理论分析 证明理论框架适用于单样本和少样本场景 提出具有理论基础的 LMS3 示例选择方法 ...

阅读全文

基于大语言模型的少样本上下文偏好学习论文信息 标题: ICPL: Few-shot In-context Preference Learning via LLMs 作者: Chao Yu, Qixin Tan, Hong Lu, Jiaxuan Gao, Xinting Yang, Yu Wang, Yi Wu, Eugene Vinitsky 发布日期: 2024-10-22 ArXiv链接: https://arxiv.org/abs/2410.17233 核心概述基于偏好的强化学习是处理难以明确定义奖励函数任务的有效方法,但传统偏好学习往往需要从零开始,效率极低。本文展示了大语言模型(LLM)具有原生的偏好学习能力,可以实现高效的样本效率偏好学习,从而解决这一挑战。 主要贡献研究提出了ICPL(In-Context Preference Learning)框架,利用LLM...

阅读全文

长上下文LLM在长上下文学习中的挑战论文信息 标题: Long-context LLMs Struggle with Long In-context Learning 作者: Tianle Li, Ge Zhang, Quy Duc Do, Xiang Yue, Wenhu Chen 发布日期: 2024-04-02 ArXiv链接: https://arxiv.org/abs/2404.02060 核心概述大型语言模型(LLM)在处理长序列方面取得了重大进展。一些模型如Gemini甚至声称能够处理数百万token。然而,它们的性能评估主要局限于困惑度和合成任务等指标,这些指标可能无法完全捕捉它们在更具挑战性的真实场景中的真实能力。 本文提出了LongICLBench,一个全面的基准测试套件,专门评估长上下文LLM在实际长上下文学习任务中的表现。基准包含多个领域的真实任务,如文档问...

阅读全文