v0.33.3: gemma4: image and audio input support
Ollama v0.33.3 为 MLX 引擎服务的 gemma4 safetensors 导入添加了图像和音频输入支持。图像通过两种视觉架构处理：26B/31B/e 系列的 transformer tower 和 12B 的无编码器统一嵌入器。音频通过 ollama API 已接受的格式接收，包括 images 字段中的 WAV 字节、OpenAI input_audio 部分和 /v1/audio/transcriptions 上传。e2b/e4b 检查点使用 conformer 音频编码器，12b 统一检查点直接嵌入原始波形。超过 30 秒的片段被均匀分割成最多 30 秒的块，并在停顿处切割，独立编码。26B/31B 没有音频配置并拒绝音频输入；无法识别的视觉架构的检查点仍作为纯文本模型加载并拒绝图像请求。服务器之前隐藏了 gemma4 safetensors 的视觉和音频能力，现已移除抑制，现有导入无需重新导入即可宣传这些能力。
Development
- First Reportv0.33.3: gemma4: image and audio input supportOllama
- Current AssessmentOllama 在 MLX 引擎中为 gemma4 添加多模态支持，表明开源推理服务器正在快速跟进模型能力，并针对 Apple Silicon 优化。这反映了多模态模型在本地部署中的需求增长，以及推理引擎对模型架构差异的适配。Ollama 的 API 已支持多种音频输入格式，可能推动多模态应用开发。Agent Pulse · analysis
Ollama 发布了 v0.33.3，为 MLX 引擎服务的 gemma4 safetensors 导入添加了图像和音频输入支持。此前，服务器隐藏了这些能力，因为引擎不支持它们。现在，图像和音频聊天可以处理。图像通过两种视觉架构运行：26B/31B/e 系列的 transformer tower 和 12B 的无编码器统一嵌入器。音频通过 ollama API 已接受的格式接收，包括 images 字段中的 WAV 字节、OpenAI input_audio 部分和 /v1/audio/transcriptions 上传。e2b/e4b 检查点使用 conformer 音频编码器，12b 统一检查点直接嵌入原始波形。超过 30 秒的片段被均匀分割成最多 30 秒的块，并在停顿处切割，独立编码。每个模态仅服务于携带它的检查点：26B/31B 没有音频配置并拒绝音频输入；无法识别的视觉架构的检查点仍作为纯文本模型加载并拒绝图像请求。现有导入无需重新导入即可宣传这些能力，因为导入已记录它们。
此版本揭示了 gemma4 模型家族的多模态架构差异：26B/31B 使用 transformer tower 进行视觉处理，而 12B 使用无编码器的统一嵌入器；音频处理方面，e2b/e4b 检查点使用 conformer 音频编码器，而 12b 统一检查点直接嵌入原始波形。这种架构分化意味着不同检查点具有不同的能力边界，26B/31B 不支持音频。音频输入通过多种格式接受，包括 WAV 字节、OpenAI input_audio 部分和 /v1/audio/transcriptions 上传，表明 Ollama 正在统一多模态输入接口。长音频被分割成最多 30 秒的块并在停顿处切割，这暗示了音频编码器的上下文限制。
Ollama 在 MLX 引擎中为 gemma4 添加多模态支持，表明开源推理服务器正在快速跟进模型能力，并针对 Apple Silicon 优化。这反映了多模态模型在本地部署中的需求增长，以及推理引擎对模型架构差异的适配。Ollama 的 API 已支持多种音频输入格式，可能推动多模态应用开发。
Ollama 通过支持 gemma4 的多模态输入，增强了其作为本地推理平台的价值，吸引了需要图像和音频处理能力的开发者。这有助于巩固 Ollama 在开发者工具生态中的地位，并可能推动基于本地多模态模型的应用开发。
后续可观察的迹象包括：Ollama 是否会将多模态支持扩展到其他模型；gemma4 的音频能力是否会扩展到 26B/31B 检查点；以及 MLX 引擎的性能优化。