XTuner Release V0.1.23
XTuner 发布 v0.1.23,支持 InternVL 1.5/2.0 微调,修复 preference_collate_fn 的 attn_mask 问题,版本号从 0.1.22 升至 0.1.23。
发展脉络
- 首次出现XTuner Release V0.1.22XTuner Releases
- 行业反馈XTuner Release V0.1.23XTuner Releases
- 当前判断XTuner 作为开源微调工具,持续跟进最新模型(如 InternVL 多模态模型),反映了开源社区对多模态微调需求的增长。同时,修复 DPO 相关 bug 表明偏好对齐训练正在成为微调工具链的重要环节。Agent Pulse · 分析
XTuner 于 2024 年 7 月 22 日发布 v0.1.23 版本。主要变更包括:支持 InternVL 1.5/2.0 的微调(由 hhaAndroid 在 PR #737 中实现),修复了 preference_collate_fn 中的 attn_mask 问题(由 HIT-cwh 在 PR #859 中修复),并将版本号提升至 0.1.23(PR #862)。此前的 v0.1.22 版本修复了 internlm2 的 dispatch 问题、DPO 的 zero3 兼容性问题、custom_dataset/sft 中的 map_fn 问题,并支持 internlm2.5。
XTuner 新增对 InternVL 1.5/2.0 的微调支持,表明其正在扩展多模态模型的适配能力。修复 preference_collate_fn 的 attn_mask 问题,可能影响偏好对齐(如 DPO)训练的正确性。这些改进可能提升多模态模型微调的稳定性和效果。
XTuner 作为开源微调工具,持续跟进最新模型(如 InternVL 多模态模型),反映了开源社区对多模态微调需求的增长。同时,修复 DPO 相关 bug 表明偏好对齐训练正在成为微调工具链的重要环节。
XTuner 的更新降低了多模态模型微调的技术门槛,使开发者能更高效地适配 InternVL 等模型,可能加速多模态应用落地。对于依赖开源微调工具的企业,及时跟进可减少维护成本。
后续版本可能继续扩展对更多多模态模型的支持,并优化偏好对齐训练的性能。可关注 XTuner 对 InternVL 2.0 的完整支持以及 DPO 训练的稳定性改进。