2026年8月7日 · Skaling law
Skaling: Chinchilla's Exponents Meet Kaplan's Coupling
arXiv 论文 2608.07222v1 提出 Skaling law，一种广义函数形式，通过单一交互指数耦合模型容量与数据，将 MAPE 降低 1.5-3 倍，并在低计算稀疏网格下实现约 10 倍计算节省。
EVENT STORY
发展脉络
- 首次出现Skaling: Chinchilla's Exponents Meet Kaplan's CouplingarXiv cs.CL
- 当前判断缩放定律是模型训练预算分配的基础，Skaling law 的改进可能影响行业对训练效率和成本优化的认知。若被广泛采用，可能改变超参数调优和资源分配策略。验证信号：主要实验室是否在训练计划中引用或采用该定律。Agent Pulse · 分析
标准神经缩放定律假设模型大小和训练数据对损失的影响独立，导致在数据稀缺和过度训练时系统性偏差。Skaling law 引入耦合项，通过单一交互指数统一描述两者关系，在插值和外推中显著提升预测精度。结合稀疏网格策略，可在低计算预算下实现全网格外推，为计算预算分配提供更稳健高效的框架。
Skaling law 的核心创新在于打破模型与数据的独立性假设，引入交互指数。这暗示现有缩放定律的失效源于对耦合效应的忽略，未来可探索更复杂的耦合形式。验证信号：在更大规模模型上复现 MAPE 改进，或与其他缩放定律（如 Chinchilla）对比。
缩放定律是模型训练预算分配的基础，Skaling law 的改进可能影响行业对训练效率和成本优化的认知。若被广泛采用，可能改变超参数调优和资源分配策略。验证信号：主要实验室是否在训练计划中引用或采用该定律。
Skaling law 可降低训练成本，通过小规模实验预测大规模性能，减少资源浪费。对模型提供商和云服务商有直接价值，可能影响定价和资源分配。验证信号：是否有公司采用该定律优化训练预算。
Skaling law 可能成为下一代缩放定律的候选，推动更高效的小规模实验预测。未来可能扩展至多模态或非语言模型，并与其他效率技术结合。验证信号：后续工作是否在更多模型族上验证。