AGENT PULSESJCPal Special EditionAI 行业证据与趋势
2024年7月22日 · XTuner

XTuner Release V0.1.23

发生了什么

XTuner 发布 v0.1.23,支持 InternVL 1.5/2.0 微调,修复 preference_collate_fn 的 attn_mask 问题,版本号从 0.1.22 升至 0.1.23。

EVENT STORY

发展脉络

  1. 首次出现XTuner Release V0.1.22XTuner Releases
  2. 行业反馈XTuner Release V0.1.23XTuner Releases
  3. 当前判断XTuner 作为开源微调工具,持续跟进最新模型(如 InternVL 多模态模型),反映了开源社区对多模态微调需求的增长。同时,修复 DPO 相关 bug 表明偏好对齐训练正在成为微调工具链的重要环节。Agent Pulse · 分析
改变了什么

XTuner 于 2024 年 7 月 22 日发布 v0.1.23 版本。主要变更包括:支持 InternVL 1.5/2.0 的微调(由 hhaAndroid 在 PR #737 中实现),修复了 preference_collate_fn 中的 attn_mask 问题(由 HIT-cwh 在 PR #859 中修复),并将版本号提升至 0.1.23(PR #862)。此前的 v0.1.22 版本修复了 internlm2 的 dispatch 问题、DPO 的 zero3 兼容性问题、custom_dataset/sft 中的 map_fn 问题,并支持 internlm2.5。

能力边界怎么变了

XTuner 新增对 InternVL 1.5/2.0 的微调支持,表明其正在扩展多模态模型的适配能力。修复 preference_collate_fn 的 attn_mask 问题,可能影响偏好对齐(如 DPO)训练的正确性。这些改进可能提升多模态模型微调的稳定性和效果。

为什么重要

XTuner 作为开源微调工具,持续跟进最新模型(如 InternVL 多模态模型),反映了开源社区对多模态微调需求的增长。同时,修复 DPO 相关 bug 表明偏好对齐训练正在成为微调工具链的重要环节。

对谁有影响

XTuner 的更新降低了多模态模型微调的技术门槛,使开发者能更高效地适配 InternVL 等模型,可能加速多模态应用落地。对于依赖开源微调工具的企业,及时跟进可减少维护成本。

接下来观察

后续版本可能继续扩展对更多多模态模型的支持,并优化偏好对齐训练的性能。可关注 XTuner 对 InternVL 2.0 的完整支持以及 DPO 训练的稳定性改进。