AGENT PULSESJCPal Special EditionAI Industry Evidence & Trends
Jul 22, 2024 · XTuner

XTuner Release V0.1.23

What Happened

XTuner 发布 v0.1.23,支持 InternVL 1.5/2.0 微调,修复 preference_collate_fn 的 attn_mask 问题,版本号从 0.1.22 升至 0.1.23。

EVENT STORY

Development

  1. First ReportXTuner Release V0.1.22XTuner Releases
  2. Industry ResponseXTuner Release V0.1.23XTuner Releases
  3. Current AssessmentXTuner 作为开源微调工具,持续跟进最新模型(如 InternVL 多模态模型),反映了开源社区对多模态微调需求的增长。同时,修复 DPO 相关 bug 表明偏好对齐训练正在成为微调工具链的重要环节。Agent Pulse · analysis
What Changed

XTuner 于 2024 年 7 月 22 日发布 v0.1.23 版本。主要变更包括:支持 InternVL 1.5/2.0 的微调(由 hhaAndroid 在 PR #737 中实现),修复了 preference_collate_fn 中的 attn_mask 问题(由 HIT-cwh 在 PR #859 中修复),并将版本号提升至 0.1.23(PR #862)。此前的 v0.1.22 版本修复了 internlm2 的 dispatch 问题、DPO 的 zero3 兼容性问题、custom_dataset/sft 中的 map_fn 问题,并支持 internlm2.5。

How the Capability Boundary Shifted

XTuner 新增对 InternVL 1.5/2.0 的微调支持,表明其正在扩展多模态模型的适配能力。修复 preference_collate_fn 的 attn_mask 问题,可能影响偏好对齐(如 DPO)训练的正确性。这些改进可能提升多模态模型微调的稳定性和效果。

Why It Matters

XTuner 作为开源微调工具,持续跟进最新模型(如 InternVL 多模态模型),反映了开源社区对多模态微调需求的增长。同时,修复 DPO 相关 bug 表明偏好对齐训练正在成为微调工具链的重要环节。

Who It Affects

XTuner 的更新降低了多模态模型微调的技术门槛,使开发者能更高效地适配 InternVL 等模型,可能加速多模态应用落地。对于依赖开源微调工具的企业,及时跟进可减少维护成本。

What to Watch Next

后续版本可能继续扩展对更多多模态模型的支持,并优化偏好对齐训练的性能。可关注 XTuner 对 InternVL 2.0 的完整支持以及 DPO 训练的稳定性改进。