大型语言模型是推理教师

论文概述本文提出了Fine-tune-CoT（思维链微调）方法，使用大型语言模型作为推理教师，使较小的模型具备复杂推理能力。通过从超大型教师模型生成推理样本来微调较小的模型，该方法将模型规模要求降低了几个数量级，同时实现了显著的推理能力。 论文信息： 发布时间：2022-12-20 作者：Namgyu Ho, Laura Schmid, Se-Young Yun 机构：KAIST 研究方向：提示工程, 大型语言模型推理 核心技术：知识蒸馏 研究背景大型语言模型在复杂推理任务上展现出强大的能力，但这些能力通常需要超过100B参数的模型才能涌现。本研究针对以下问题展开： 现有问题 复杂推理能力主要存在于超大规模模型中 小型模型在推理任务上表现不佳 缺乏将大模型推理能力迁移到小模型的有效方法 研究动机本研究旨在探索如何将大型语言模型的推理能力蒸馏到小型模型中，使得小型模型也能具备复杂...

阅读全文