Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO
ArXiv ID: 2505.19770作者: Ruizhe Shi, Minhak Song, Runlong Zhou, Zihan Zhang, Maryam Fazel, Simon S. Du发布日期: 2025年5月26日最后更新: 2025年10月3日
摘要本文对强化学习人类反馈(RLHF)和直接偏好优化(DPO)之间的性能差距进行了精细的理论分析。研究将性能差距分解为两个来源,并在精确优化和有限样本优化场景下进行分析。结果显示,根据模型误规范的类型,RLHF、DPO或在线DPO可能各自表现更优。值得注意的是,当奖励模型类和策略模型类同构且都存在误规范时,在线DPO可以同时优于RLHF和标准DPO。...
RLAIF 对比 RLHF：使用 AI 反馈扩展人类反馈强化学习
论文概述这篇 Google Research 论文提供了基于 AI 反馈的强化学习（RLAIF）与传统 RLHF 之间的首次全面实证比较，证明 AI 生成的偏好标签可以以大幅降低的成本匹配人类反馈质量。在三个任务（摘要、有帮助的对话、无害对话）中，RLAIF 实现了与 RLHF 相当的性能，人类评估者对两者同样偏好（约 70% 优于监督基线）。关键创新是使用现成的大型语言模型生成偏好标签，而不是昂贵的人工标注，并引入了直接 RLAIF（d-RLAIF），该方法在 RL 期间直接从大型语言模型获取奖励，无需训练单独的奖励模型，实现了卓越的性能。该工作发表于 ICML 2024，验证了 RLAIF 作为 RLHF 的可扩展替代方案，将标注成本降低了 10 倍以上，同时保持对齐质量。
论文信息：
发布时间：2023-09-01
作者：Harrison Lee, Samrat Phatal...