v8.4.118 - Add standalone LLM model interface (#25761)
Ultralytics v8.4.118 发布,新增独立 LLM 模型接口,支持从 ultralytics import LLM 进行文本和图像语言模型请求,兼容 OpenAI Responses 和 Chat Completions API,支持同步和异步调用,可接受本地路径、URL、data URL、NumPy 数组和 PIL 图像,支持可复用提示、请求覆盖、对话状态、API 密钥和 OpenAI 兼容服务端点,使用可选 openai 依赖,独立于 Ultralytics Platform 和 workflow-runtime 组件。同时改进了 OBB 训练,Mosaic、CutMix 和 RandomPerspective 在对象被图像边界裁剪时保留 OBB 方向,防止裁剪对象获得错误旋转角度。CopyPaste 增强通过批量实例拼接加速。
发展脉络
- 首次出现v8.4.118 - Add standalone LLM model interface (#25761)Ultralytics
- 当前判断Ultralytics 作为主流 CV 库,新增 LLM 接口可能反映行业趋势:CV 与 NLP 融合,统一多模态接口。此举可能吸引更多开发者,但需观察后续采用情况。Agent Pulse · 分析
Ultralytics v8.4.118 发布,核心新增独立 LLM 模型接口,允许开发者通过 from ultralytics import LLM 使用文本和图像语言模型请求,兼容 OpenAI Responses 和 Chat Completions API,支持同步和异步调用,可接受多种图像输入格式,并支持可复用提示、请求覆盖、对话状态、API 密钥和 OpenAI 兼容服务端点。该接口使用可选 openai 依赖,独立于 Ultralytics Platform 和 workflow-runtime 组件。此外,该版本改进了 OBB 训练,确保 Mosaic、CutMix 和 RandomPerspective 增强在对象被裁剪时保留方向,防止错误旋转角度;同时通过批量实例拼接加速 CopyPaste 增强。
Ultralytics 引入独立 LLM 接口,表明其从纯计算机视觉库向多模态 AI 框架演进。该接口支持 OpenAI 兼容 API,可能简化开发者集成,但具体模型能力未提及。OBB 训练改进解决了数据增强中方向保留问题,对旋转目标检测有实际意义。CopyPaste 加速通过批量拼接减少重复复制,提升训练效率。
Ultralytics 作为主流 CV 库,新增 LLM 接口可能反映行业趋势:CV 与 NLP 融合,统一多模态接口。此举可能吸引更多开发者,但需观察后续采用情况。
对使用 Ultralytics 的团队,新增 LLM 接口可能减少集成成本,但需评估 openai 依赖和兼容性。OBB 改进提升旋转目标检测准确性,对相关应用有商业价值。
后续可关注 Ultralytics 是否扩展 LLM 接口功能,如支持更多模型或本地推理,以及 OBB 改进对下游任务的影响。