Can Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source Identification
arXiv 论文 2608.02397v1 对 11 种音频分类方法进行基准测试，包括 Gemini 系列、Kimi-Audio-7B-Instruct、YAMNet、PANNs、Whisper-AT、SSLAM、CLAP 和 BAT。任务为闭集声音源识别，使用 2,242 个片段，覆盖 23 个细粒度类别和 11 个类别。最佳模型 Gemini-3.1-Pro-Preview 达到 85.6% 类别级 F1 和 56.7% 细粒度 F1。Kimi-Audio 达到 67.5% 类别级 F1 和 32.9% 细粒度 F1，但 1.6% 样本未回答。SSLAM 和 CLAP 在类别级匹配或超过最佳闭集模型，但细粒度落后。
Development
- First ReportCan Foundation Models Hear What Made That Sound? A Tiered Benchmark of Audio-Language Models and Traditional Classifiers for Closed-Set Sound Source IdentificationarXiv cs.AI
- Current Assessment该研究为音频 AI 模型的选择提供了参考：对于需要细粒度分类的应用，闭集 LLM 可能更合适；对于类别级识别，轻量级模型如 SSLAM 和 CLAP 可能更具成本效益。开源模型 Kimi-Audio 的竞争力表明开源生态在音频领域正在追赶。Agent Pulse · analysis
该论文提出了一个分层基准，用于评估音频语言模型和传统分类器在闭集声音源识别任务上的表现。研究涵盖了 11 种方法，分为四个层级：任务感知的闭集 LLM（包括四个 Gemini 模型和开源的 Kimi-Audio-7B-Instruct）、固定词汇标签器（YAMNet、PANNs、Whisper-AT、SSLAM）、零样本音频文本模型（CLAP）和音频接地 LLM（BAT）。在 2,242 个音频片段上，Gemini-3.1-Pro-Preview 表现最佳，类别级 F1 为 85.6%，细粒度 F1 为 56.7%。Kimi-Audio 在同等规模下具有竞争力，但存在 1.6% 的未回答率。SSLAM 和 CLAP 在类别级表现优异，但细粒度识别不足。分析 Gemini 模型的思维链（8,968 个响应）发现，响应长度与性能无直接关联。
该基准揭示了闭集音频分类中不同方法的能力差异：任务感知的 LLM 在细粒度识别上表现更好，但零样本模型在类别级识别上具有竞争力。Gemini-3.1-Pro-Preview 的细粒度 F1 显著高于其他模型，表明其音频理解能力较强。Kimi-Audio 的未回答率提示了模型在不确定性处理上的局限。SSLAM 和 CLAP 在类别级表现优异，可能得益于其预训练任务。
该研究为音频 AI 模型的选择提供了参考：对于需要细粒度分类的应用，闭集 LLM 可能更合适；对于类别级识别，轻量级模型如 SSLAM 和 CLAP 可能更具成本效益。开源模型 Kimi-Audio 的竞争力表明开源生态在音频领域正在追赶。
该基准可帮助音频 AI 应用开发者选择合适模型，平衡性能与成本。对于需要高精度细粒度分类的场景，闭集 LLM 可能值得投资；对于类别级识别，轻量级模型可降低成本。
未来可关注更大规模基准的发布，以及模型在细粒度识别上的改进。Kimi-Audio 的未回答率可能促使研究者改进模型的不确定性处理。