Self-Instruct: 开创性的自生成指令数据集

Self-Instruct：点燃开源大模型革命的火种核心观点：Self-Instruct的价值不在82K条数据，而在于证明了”AI可以自己生成训练数据”这条路走得通——它直接催生了Alpaca、Vicuna等一系列开源模型，改变了大模型领域的权力格局。 2022年12月，华盛顿大学发布Self-Instruct论文时，很少人意识到这会成为改变大模型历史的里程碑。3个月后，斯坦福用同样的方法生成52K数据训练出Alpaca，证明了”穷人也能玩大模型”。 从此，大模型不再是OpenAI、Google的专利。 Self-Instruct到底做对了什么在Self-Instruct之前，训练指令遵循模型有三条路： OpenAI的路：雇佣大量标注员+RLHF（成本：数百万美元） Google的路：用内部数据+模板生成FLAN数据集（需要大公司资源） 学术界的路：精心设计少量高质量数据（覆盖面有...

阅读全文