ONNX Runtime v1.29.1
ONNX Runtime 发布 v1.29.1 补丁版本,基于 v1.29.0。主要变更包括:通过向后兼容的 causal 属性在 CPU 和 CUDA 上新增双向 GroupQueryAttention 支持,并对不支持的执行路径做显式处理;新增会话选项与 Execution Provider 元数据契约以使用 BNHS Value KV-cache 布局,并通过图变换保持与现有 BNSH 算子 schema 的兼容;为带滑动窗口 KV cache 的 attention_bias 增加 CPU 支持,包含显式 position IDs 与驱逐后 bias 索引。此外修复 Compile API 在同时使用 output-model 与自定义 initializer-location 回调时的模型序列化问题,并更新 onnxruntime_perf_test 使用插件 Execution Provider 设备分配器。
Development
- First ReportONNX Runtime v1.29.1ONNX Runtime Releases
- Industry ResponseONNX Runtime v1.30.0ONNX Runtime Releases
- Current Assessment这是开源推理运行时的一次常规补丁迭代,本身不构成商业事件。但 KV-cache 布局与注意力变体被纳入运行时契约,反映推理栈正把内存布局与注意力语义作为可调优维度下沉到执行层。判断:这类改动会逐步影响自托管推理的成本结构,但单次补丁不足以说明产业格局变化。可验证信号是后续版本说明中是否出现布局相关的基准数据或默认值变更。Agent Pulse · analysis
ONNX Runtime v1.29.1 是一次补丁发布,重点在注意力算子与 KV-cache 布局。GroupQueryAttention 新增双向支持,通过向后兼容的 causal 属性在 CPU 与 CUDA 上启用,并对不支持的执行路径显式处理;同时引入会话选项与 Execution Provider 元数据契约以启用 BNHS Value KV-cache 布局,配合图变换保持与既有 BNSH 算子 schema 的兼容。CPU 侧新增对带滑动窗口 KV cache 的 attention_bias 支持,包含显式 position IDs 与驱逐后 bias 索引。运行时与性能工具方面,修复了 Compile API 在 output-model 与自定义 initializer-location 回调并用时的序列化问题,并让 onnxruntime_perf_test 使用插件 Execution Provider 设备分配器以减少每轮主机/设备拷贝。
从变更描述看,这一版把注意力实现的可配置性前移到会话选项与 EP 元数据契约层面:KV-cache 布局(BNHS Value 与既有 BNSH)通过图变换保持算子 schema 兼容,意味着布局切换更可能由运行时而非模型图决定。双向 GroupQueryAttention 以向后兼容属性引入,说明推理侧对非因果注意力的需求在增加。可验证的下一信号是:官方文档或后续版本是否给出 BNHS 布局的适用条件与性能对比数据,以及是否有主流推理框架跟进该元数据契约。
这是开源推理运行时的一次常规补丁迭代,本身不构成商业事件。但 KV-cache 布局与注意力变体被纳入运行时契约,反映推理栈正把内存布局与注意力语义作为可调优维度下沉到执行层。判断:这类改动会逐步影响自托管推理的成本结构,但单次补丁不足以说明产业格局变化。可验证信号是后续版本说明中是否出现布局相关的基准数据或默认值变更。
对自托管推理的团队,这类补丁的价值在于减少主机/设备拷贝与提供布局选择,可能降低单位推理成本,但证据未给出量化收益,不宜据此做采购或迁移决策。建议先在小规模负载上验证 BNHS 布局与双向注意力的兼容性与吞吐,再评估是否纳入生产配置。
若 BNHS Value 布局与双向注意力在后续版本获得文档化的性能数据与默认配置,可能成为长上下文推理的常规选项。观察点:下一版本是否补充迁移指引、基准数字,或将其设为默认。