2026年8月1日 · Kilobyte Models
Kilobyte Models: Neural Networks as a Seed and a Quantized Latent
arXiv 论文 2608.00860v1 提出 Kilobyte Models，将神经网络压缩为种子和量化潜变量，存储大小由潜变量维度和位宽决定，而非参数数量。实验表明映射模型与激进量化网络精度相当，但存储字节更少。
EVENT STORY
发展脉络
- 首次出现Kilobyte Models: Neural Networks as a Seed and a Quantized LatentarXiv cs.LG
- 当前判断该研究可能影响带宽受限的模型分发场景，如空中更新和端侧库。若可复现，可能推动模型存储和传输成本下降，但需验证其在不同架构和任务上的泛化性。Agent Pulse · 分析
该论文研究极端模型压缩，部署产物不是权重，而是用于重新生成权重的简短配方。基于 Mapping Networks，权重表示为紧凑可训练潜变量和固定随机基底的非线性函数。由于基底和初始化中心可从整数种子复现，只需存储潜变量。论文引入种子分块基底，可扩展到投影无法放入内存的网络。实验显示，映射模型与激进量化到每权重几比特的网络精度相当，但存储字节更少。达到最激进位宽需在量化循环中微调潜变量。
该方法将模型压缩转化为潜变量压缩，存储成本从参数数量转移到潜变量维度和位宽。种子分块基底解决了大规模网络的投影内存问题。量化在循环中微调是达到极端位宽的关键。
该研究可能影响带宽受限的模型分发场景，如空中更新和端侧库。若可复现，可能推动模型存储和传输成本下降，但需验证其在不同架构和任务上的泛化性。
对模型分发和存储业务有潜在价值，可降低带宽和存储成本，但当前处于研究阶段，商业落地尚远。
后续可关注该方法在更大模型和实际部署中的验证，以及是否出现基于种子和潜变量的模型分发标准。