从错误中进行上下文原理学习论文概述本文是一篇关于大型语言模型 (LLM)的研究论文,由 Tianjun Zhang 等8位研究者共同完成。
LEAP(学习原理)引入了一种新颖的上下文学习 (In-Context Learning)范式,从错误中学习而非仅从正确示例学习。通过有意诱导错误、反思错误并推导出明确的任务特定原理,LEAP 显著提升了大型语言模型 (LLM)在推理任务上的性能。这种方法模仿了人类学习,即我们往往从错误中学到的比从成功中学到的更多。
研究目标本研究的主要目标包括:
引入 LEAP,一种从诱导错误中学习显式原理的新型上下文学习 (In-Context Learning)范式
证明从错误中学习比仅从正确示例学习更有效
提出三阶段流程:诱导错误、推导原理、将原理应用于新查询
研究背景当前挑战
推理能力不足:模型在复杂推理任务上表现欠佳
多步推理困难:难以处理需要多...
通用自适应提示
论文概述通用自适应提示（Universal Self-Adaptive Prompting, USP）通过实现自动提示设计的有效零样本学习来解决 Transformers 的架构限制。与依赖”一个提示适用所有”策略的传统方法不同，USP 对任务进行分类，并选择任务适当的查询和模型生成的响应作为伪示例，以完全自动化的方式将上下文学习泛化到零样本设置。
论文信息：
发布时间：2023-05-24
作者：Xingchen Wan, Ruoxi Sun, Hootan Nakhost等
机构：Google Research
研究方向：提示工程，大型语言模型推理
核心技术：零样本学习（Zero Shot Learning）
研究背景大型语言模型（LLM）在各类任务中展现出强大的能力，但如何有效引导模型进行复杂推理仍是一个挑战。本研究针对以下问题展开：
现有问题
传统提示方法在复杂推理任务上...
语言模型是少样本学习者（GPT-3）
论文概述GPT-3是一个拥有1750亿参数的自回归语言模型，比之前任何非稀疏语言模型大10倍。这篇突破性论文证明了足够大规模的语言模型可以仅通过文本交互（少样本示例）在各种NLP任务上实现强大性能，无需任何梯度更新或微调 (Fine-Tuning)。GPT-3引入了上下文学习 (In-Context Learning) 的概念，从根本上改变了我们对语言模型能力的理解，开启了大型语言模型时代。
论文信息：
发布时间：2020-05-28
作者：Tom B. Brown, Benjamin Mann, Nick Ryder等
机构：OpenAI
研究方向：提示工程 (Prompt Engineering), 大型语言模型推理 (LLM Reasoning)
核心技术：上下文学习 (In Context Learning)
研究背景大型语言模型在各类任务中展现出强大的能力，但传统方法通...