The Loss Does Not See the Basis, but Adam Does
arXiv 论文《The Loss Does Not See the Basis, but Adam Does》研究因子化模型 W=UV^T 上梯度下降与 Adam 的隐式偏差。梯度下降偏向低秩解，而 Adam 不偏向。差异源于损失在 (U,V)->(UQ,VQ) 下的规范对称性。梯度流低秩机制仅在优化器规范等变时可用。梯度下降、动量、共享标量 Adam、Muon、Shampoo 满足等变性；Adam、RMSProp 等坐标级方法不满足。结构定理刻画无记忆等变规则为 Gram 决定的左预条件器。在欠定矩阵感知上排序九种更新规则，从坐标级到共享标量预条件的一参数族单调恢复偏差，隔离各向异性为原因。谱调度调和关于 Muon 的两个相反报告。
Development
- First ReportThe Loss Does Not See the Basis, but Adam DoesHugging Face Daily Papers
- Industry ResponseThe Loss Does Not See the Basis, but Adam DoesarXiv cs.LG
- Current Assessment该研究可能影响深度学习框架的优化器实现，尤其是需要低秩解的场景，如模型压缩和推荐系统。框架可能增加对规范等变优化器的支持，或提供谱调度选项。Agent Pulse · analysis
该论文揭示优化器在因子化矩阵上的隐式偏差差异。梯度下降在因子化模型 W=UV^T 上偏向低秩解，而 Adam 不偏向。作者将差异归因于损失的规范对称性，即 (U,V)->(UQ,VQ) 下的不变性。梯度流的低秩机制仅在优化器规范等变时可用，这是迁移的必要条件但不充分。梯度下降、动量、共享标量 Adam、Muon、Shampoo 满足等变性；Adam、RMSProp 等坐标级方法不满足。结构定理刻画无记忆等变规则为 Gram 决定的左预条件器。在欠定矩阵感知上排序九种更新规则，一参数族从坐标级到共享标量预条件单调恢复偏差，隔离各向异性为原因。谱调度调和关于 Muon 的两个相反报告。
该论文为优化器的隐式偏差提供了理论框架，区分规范等变与坐标级方法。对工程师而言，选择优化器不仅影响收敛速度，还影响解的秩结构。在低秩矩阵恢复任务中，使用规范等变优化器（如 Muon）可能获得更好泛化。谱调度可能调和 Muon 的相反结果，提示超参数调整需考虑目标秩。
该研究可能影响深度学习框架的优化器实现，尤其是需要低秩解的场景，如模型压缩和推荐系统。框架可能增加对规范等变优化器的支持，或提供谱调度选项。
对模型压缩和高效推理有商业价值，低秩解可减少存储和计算。规范等变优化器可能成为训练低秩模型的标准工具，影响相关工具链。
后续可验证信号：其他规范等变优化器（如 Shampoo）在低秩任务上的实证表现；谱调度在真实模型上的应用；框架对等变优化器的支持。