PROMST:多步骤任务中的提示优化——整合人类反馈与启发式采样论文概述本文是一篇关于提示工程的优化方法论文,由 Yongchao Chen 等6位研究者共同完成。
PROMST 解决了多步骤智能体任务提示优化的独特挑战,在这些任务中,提示更加复杂,单个步骤的影响难以评估,且用户偏好各异。与单步骤任务优化器不同,PROMST 融合了人类设计的反馈规则(自评规则)以自动提供直接的改进建议,并使用学习到的启发式模型来高效预测提示性能以进行采样。该方法在11个代表性多步骤任务上显著优于人工设计的提示和其他优化方法,在五种不同的大语言模型上平均提升10.6%-29.3%。
研究目标本研究的主要目标包括:
引入专门为多步骤任务提示优化设计的 PROMST 框架
开发自评规则机制,将人类反馈规则融入自动化优化
实现对比过滤,使用学习到的启发式方法高效采样高质量提示候选
研究背景当前挑战
提示...
RLAIF 对比 RLHF：使用 AI 反馈扩展人类反馈强化学习
论文概述这篇 Google Research 论文提供了基于 AI 反馈的强化学习（RLAIF）与传统 RLHF 之间的首次全面实证比较，证明 AI 生成的偏好标签可以以大幅降低的成本匹配人类反馈质量。在三个任务（摘要、有帮助的对话、无害对话）中，RLAIF 实现了与 RLHF 相当的性能，人类评估者对两者同样偏好（约 70% 优于监督基线）。关键创新是使用现成的大型语言模型生成偏好标签，而不是昂贵的人工标注，并引入了直接 RLAIF（d-RLAIF），该方法在 RL 期间直接从大型语言模型获取奖励，无需训练单独的奖励模型，实现了卓越的性能。该工作发表于 ICML 2024，验证了 RLAIF 作为 RLHF 的可扩展替代方案，将标注成本降低了 10 倍以上，同时保持对齐质量。
论文信息：
发布时间：2023-09-01
作者：Harrison Lee, Samrat Phatal...