Kimi-Linear-48B-A3B-Base
Moonshot AI 于 2026 年 1 月 30 日在 Hugging Face 上发布了模型仓库 moonshotai/Kimi-Linear-48B-A3B-Base,任务类型为文本生成,近 30 天下载量为 2,391。
发展脉络
- 首次出现Kimi-Linear-48B-A3B-BaseMoonshot AI 模型发布(Hugging Face)
- 当前判断Moonshot AI 发布线性注意力模型,表明国内大模型厂商在架构创新上持续发力,可能引领行业对高效 Transformer 变体的探索。该模型若在长上下文任务上表现优异,可能推动行业对线性注意力等高效架构的采用,进而影响推理成本与部署方式。Agent Pulse · 分析
Moonshot AI 在 Hugging Face 上发布了新模型 Kimi-Linear-48B-A3B-Base,该模型为文本生成任务设计,近 30 天下载量为 2,391。模型名称暗示其采用线性注意力机制,总参数量 48B,激活参数 3B,属于 MoE 架构。此次发布表明 Moonshot AI 在模型架构创新上的持续投入,可能旨在提升推理效率并降低长上下文处理成本。
模型名称中的 'Linear' 暗示其可能采用线性注意力机制,以替代传统二次复杂度注意力,从而在长序列处理上获得效率优势。'A3B' 表示激活参数为 3B,总参数 48B,属于 MoE 架构。这种设计可能旨在平衡模型容量与推理成本,但具体架构细节和性能数据尚未披露,需关注后续技术报告或评测。
Moonshot AI 发布线性注意力模型,表明国内大模型厂商在架构创新上持续发力,可能引领行业对高效 Transformer 变体的探索。该模型若在长上下文任务上表现优异,可能推动行业对线性注意力等高效架构的采用,进而影响推理成本与部署方式。
该模型若实现高效推理,可降低长上下文应用的部署成本,提升 Moonshot AI 在 To B 和 To D 市场的竞争力。通过开源模型吸引开发者,可能扩大其生态影响力,并为商业化产品(如 Kimi 助手)提供技术支撑。
后续可关注该模型的技术报告、基准测试结果以及是否开放 API 或商用许可。若性能达到或超越同规模稠密模型,可能加速线性注意力架构在业界的普及,并影响长上下文应用的成本结构。