Orca-AgentInstruct: 微软百万级合成指令数据集

AgentInstruct：当AI学会自己批改作业核心观点：微软用多代理协作重新定义了合成数据的质量上限，这不是简单的”让GPT生成训练数据”，而是一套完整的AI自我进化系统。 105万条指令数据，成本几乎为零，质量接近人工标注——微软Orca-AgentInstruct的数据让人重新思考：我们真的还需要花大价钱雇人标数据吗？ 为什么AgentInstruct不是”又一个合成数据集”市面上合成数据集多如牛毛，但大多数都是”prompt engineering的产物”：写个好prompt，调用GPT-4，批量生成，完事。这种做法有个致命问题——垃圾进，垃圾出。 AgentInstruct的野心更大：它想让AI学会自己质检、自己迭代、自己优化。 三个代理角色分工明确： 内容转换代理：把网络上的非结构化知识提取成结构化信息（相当于AI版的知识图谱工程师） 种子指令生成代理：基于知识生成多...

阅读全文