Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens
ArXiv ID: 2508.01191作者: Chengshuai Zhao, Zhen Tan, Pingchuan Ma, Dawei Li, Bohan Jiang, Yancheng Wang, Yingzhen Yang, Huan Liu发布日期: 2025-08-13
摘要链式思维(CoT)提示已成为增强大语言模型推理能力的强大技术。然而,一个根本问题仍然存在:CoT代表真正的推理能力,还是仅仅是从训练数据中学到的复杂模式匹配?本文从数据分布视角研究CoT推理,系统考察大语言模型是否能将CoT推理泛化到训练分布之外。我们开发了DataAlchemy,一个用于跨三个维度(任务复杂度、推理链长度、输出格式)训练和探测大语言模型...
LLM的链式思维推理是海市蜃楼吗?从数据分布视角的分析
Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens
ArXiv ID: 2508.01191作者: Chengshuai Zhao, Zhen Tan, Pingchuan Ma, Dawei Li, Bohan Jiang, Yancheng Wang, Yingzhen Yang, Huan Liu发布日期: 2025年8月2日最后更新: 2025年8月13日
摘要链式思维(Chain-of-Thought, CoT)提示已被证明能够提升大语言模型(LLM)的性能。然而,本文质疑CoT推理是否真的如表面所示那样深入,还是仅仅是一种表面现象。通过数据分布的视角,研究者开发了”DataAlchemy”研究环境来调查CoT推理。研究揭示,CoT推理实际上是”脆弱的”,高度依赖于训练数据的分布...