核心观点：HH-RLHF是RLHF领域的”黄金标准”数据集，它证明了一件事——对齐不是玄学，而是可以通过结构化的人类偏好数据解决的工程问题。 为什么这个数据集重要？在ChatGPT爆火之前，很少有人意识到RLHF（人类反馈强化学习）的价值。OpenAI用InstructGPT证明了它的有效性，而Anthropic用HH-RLHF把这套方法论开源出来，让所有人都能训练”有用且无害”的模型。 这个数据集的核心价值不在于16.9万条样本的规模——这个数量甚至称不上大。它的价值在于清晰的标注哲学：将对齐拆解为Helpfulness（有用性）和Harmlessness（无害性）两个维度，并用简洁的偏好对格式表达人类判断。这种设计让研究者可以分别优化这两个目标，或者在实际应用中灵活权衡。 对比其他偏好数据集，HH-RLHF的标注质量更稳定、任务定义更清晰。这也是为什么它成为了RLHF研究的事实标...

阅读全文

MM-RLHF：多模态RLHF的首个完整解决方案核心观点：GPT-4V、Claude-3、Gemini都在用RLHF对齐文本输出，但多模态输出怎么对齐？MM-RLHF用10维评估体系+批评型奖励模型，给出了第一个工业级的答案。 文本RLHF已经成熟——Anthropic的HH-RLHF、OpenAI的InstructGPT都验证了方法的有效性。但多模态场景复杂得多：一张图片的描述是否”好”，不仅取决于语言质量，还要看视觉细节、空间关系、伦理安全。 MM-RLHF是第一个系统性解决这个问题的数据集，16,300条样本，10维评估，27个基准验证。 为什么多模态RLHF比文本RLHF难得多文本RLHF的评估相对简单：有用性、无害性、诚实性。多模态场景要复杂一个数量级： 视觉理解维度（这是文本RLHF没有的）： 忠实性：描述是否准确对应图像内容？（最容易出幻觉的地方） 视觉细节：是否捕捉...

阅读全文

DPO全景图：从理论到实践的完整指南 ArXiv ID: 2410.15595作者: Wenyi Xiao, Zechuan Wang, Leilei Gan, Shuai Zhao, Zongrui Li, Ruirui Lei, Wanggui He, Luu Anh Tuan, Long Chen, Hao Jiang, Zhou Zhao, Fei Wu机构: Zhejiang University发布日期: 2024-10-21最后更新: 2025-07-14 摘要在大语言模型（LLM）的训练旅程中，让模型”听懂人话”一直是个难题。传统的RLHF（基于人类反馈的强化学习）虽然效果不错，但就像用大炮打蚊子——复杂、昂贵、还容易翻车。你需要训练一个奖励模型（Reward Model），然后用PPO等强化学习算法反复迭代，整个过程既耗时又吃资源。 DPO（Direct Pref...

阅读全文

Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO ArXiv ID: 2505.19770作者: Ruizhe Shi, Minhak Song, Runlong Zhou, Zihan Zhang, Maryam Fazel, Simon S. Du发布日期: 2025年5月26日最后更新: 2025年10月3日 摘要本文对强化学习人类反馈(RLHF)和直接偏好优化(DPO)之间的性能差距进行了精细的理论分析。研究将性能差距分解为两个来源,并在精确优化和有限样本优化场景下进行分析。结果显示,根据模型误规范的类型,RLHF、DPO或在线DPO可能各自表现更优。值得注意的是,当奖励模型类和策略模型类同构且都存在误规范时,在线DPO可以同时优于RLHF和标准DPO。...

阅读全文

DPO Meets PPO: Reinforced Token Optimization for RLHF ArXiv ID: 2404.18922作者: Han Zhong, Zikang Shan, Guhao Feng, Wei Xiong, Xinle Cheng, Li Zhao, Di He, Jiang Bian, Liwei Wang发布日期: 2025年4月29日最后更新: 2025年5月21日 摘要在经典的强化学习人类反馈(RLHF)框架中,近端策略优化(PPO)用于从稀疏的句子级奖励中学习。然而,PPO面临训练不稳定性和样本效率低等挑战。另一方面,直接偏好优化(DPO)提供了稳定的训练过程,但也存在句子级优化的局限性。本文引入了强化令牌优化(RTO)算法,将RLHF问题建模为马尔可夫决策过程(MDP),捕获细粒度的令牌级信息。RTO结合了DPO和PPO的优势,...

阅读全文