CreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and Diversity
CreativeInstruct 是一种可扩展的指令微调方法，通过注入特殊的 [StartCreativity] 跨度，使 LLM 在保持后训练模型质量的同时，平衡创造性和多样性。该方法引入基于图编辑距离的结构多样性指标，在叙事生成任务上匹配或超过多模型基线和蒸馏变体的多样性，且推理时无需多个模型。人工评估中，70.3% 的情况下 CreativeInstruct 生成被认为比后训练 LLM 更具创造性。
Development
- First ReportCreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and DiversityarXiv cs.AI
- Current Assessment该研究针对后训练导致 LLM 创造性下降的普遍问题，提出了一种无需多模型推理的解决方案，可能影响指令微调实践和生成式 AI 产品的多样性设计。Agent Pulse · analysis
CreativeInstruct 提出了一种可扩展的指令微调方法，旨在解决后训练降低 LLM 输出多样性和创造性的问题。该方法通过注入 [StartCreativity] 特殊跨度，引导模型在生成时偏向创造性，同时保持后训练模型的质量。此外，论文引入基于图编辑距离的结构多样性指标，捕捉词汇和语义指标遗漏的叙事层面变化。在叙事生成任务上，CreativeInstruct 匹配或超过多模型基线和蒸馏变体的多样性，且推理时无需多个模型。人工评估显示，70.3% 的情况下 CreativeInstruct 生成被认为比后训练 LLM 更具创造性。
CreativeInstruct 的核心创新在于通过可学习的特殊跨度 [StartCreativity] 在生成过程中动态调节创造性与质量，避免了多模型集成或蒸馏的推理开销。结构多样性指标基于图编辑距离，为评估叙事多样性提供了新视角，可能对生成任务的评测方法产生影响。
该研究针对后训练导致 LLM 创造性下降的普遍问题，提出了一种无需多模型推理的解决方案，可能影响指令微调实践和生成式 AI 产品的多样性设计。
对于依赖 LLM 生成多样化内容的业务（如创意写作、游戏叙事），CreativeInstruct 提供了一种在保持质量的同时提升创造性的方法，可能降低对多模型集成的依赖，节省推理成本。
后续可关注 CreativeInstruct 在其他生成任务（如代码、对话）上的泛化能力，以及结构多样性指标是否被更广泛采用。