Pseudorandom Streams within Diffusion Models Act as Learnable Inputs That Affect Generation Quality
arXiv 论文 2608.02575v1 研究扩散模型中的伪随机流。论文指出，在有限精度硬件上，扩散模型消耗的随机性由伪随机规则生成的确定性数值轨道实现。可访问的轨道结构可能成为可学习输入，影响训练和生成，因为实际损失及其梯度取决于每一步消耗的具体伪随机值。论文使用小型多层感知器预测轨道下一个值，并用扩散探针（用在线随机张量替换真实图像，保留扩散架构和训练目标）测量目标系统能否利用轨道结构。在控制边际统计并排除动力学和有限精度失败后，剩余轨道在 MNIST 和 CIFAR-10 上仍产生明显不同的扩散损失和生成质量。两种测量与宏观生成退化有强秩相关，但局部排名不同。按 IID 基线归一化后，探针损失和真实数据扩散损失近似遵循经验关系。
发展脉络
- 首次出现Pseudorandom Streams within Diffusion Models Act as Learnable Inputs That Affect Generation QualityarXiv cs.LG
- 当前判断该研究对扩散模型的可复现性和公平评测提出挑战。如果伪随机流影响生成质量，那么不同实验室使用不同随机种子或伪随机数生成器可能导致结果差异，影响模型比较和基准测试。这提示行业在发布扩散模型时，可能需要标准化随机数生成器或报告随机种子，以确保可复现性。Agent Pulse · 分析
该论文研究扩散模型中的伪随机流。扩散模型依赖随机输入，但在有限精度硬件上，随机性由伪随机规则生成的确定性数值轨道实现。论文认为，可访问的轨道结构可能成为可学习输入，影响训练和生成，因为实际损失及其梯度取决于每一步消耗的具体伪随机值。作者使用小型多层感知器预测轨道下一个值，测量序列可预测性；并用扩散探针（用在线随机张量替换真实图像，保留扩散架构和训练目标）测量目标系统能否利用轨道结构。在控制边际统计并排除动力学和有限精度失败后，剩余轨道在 MNIST 和 CIFAR-10 上仍产生明显不同的扩散损失和生成质量。两种测量与宏观生成退化有强秩相关，但局部排名不同。按 IID 基线归一化后，探针损失和真实数据扩散损失近似遵循经验关系。
该研究揭示扩散模型的随机输入并非完全中性：伪随机数生成器的轨道结构可能被模型利用，影响训练和生成质量。这提示在复现扩散模型实验时，随机种子和伪随机数生成器的选择可能引入额外方差。对训练稳定性和生成质量而言，伪随机流的可预测性可能成为隐式正则化或干扰因素。下一步可验证：在不同伪随机数生成器（如 PCG、xoshiro）下，扩散模型的损失曲线和生成指标是否出现可重复的差异。
该研究对扩散模型的可复现性和公平评测提出挑战。如果伪随机流影响生成质量，那么不同实验室使用不同随机种子或伪随机数生成器可能导致结果差异，影响模型比较和基准测试。这提示行业在发布扩散模型时，可能需要标准化随机数生成器或报告随机种子，以确保可复现性。
对使用扩散模型的企业，该研究提示在模型训练和推理中，随机数生成器的选择可能影响生成质量和一致性。企业可能需要评估其随机数生成器对模型性能的影响，并在生产环境中标准化随机数生成器，以确保输出稳定性和可复现性。
未来可能发展出对伪随机流敏感的扩散模型训练方法，或设计更稳健的随机数生成策略以减少轨道结构的影响。也可能出现针对伪随机流可预测性的正则化技术，或利用轨道结构作为可控生成的新输入。