Dual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-Tuning
本报告展示了在两台 NVIDIA DGX Spark 系统上通过 Tailscale 远程管理、使用 200 Gb/s QSFP56 直连光纤进行分布式 NanoChat 预训练的概念验证。每个系统配备 GB10 Grace Blackwell SoC 和 128 GB 统一内存。配置了 PyTorch torchrun、DDP 和 NCCL，每节点一个进程，模型深度 20，本地批大小 32，上下文 2048 token，全局批大小 131072 token。步时间约 69.4 秒（约 1890 token/s），四天处理约 6.53 亿 token。还构建了基于 77 条 CISA 公告的网络安全微调数据集（338 训练、37 验证对话）。
Development
- First ReportDual-Node NVIDIA DGX Spark over Tailscale: A Remote-Access Testbed for Distributed LLM Training and Cyber-Threat-Intelligence Fine-TuningarXiv cs.LG
- Current Assessment该报告表明，小型实验室和团队可以利用桌面级 DGX Spark 系统进行多节点训练，而无需大型数据中心。这可能会降低分布式训练的门槛，促进更多创新。Agent Pulse · analysis
本报告提供了一个在桌面级加速器上进行多节点 LLM 训练的实用参考。作者在两台 NVIDIA DGX Spark 系统上部署了分布式 NanoChat 预训练，通过 Tailscale 进行远程管理，并使用 200 Gb/s 直连光纤进行训练通信。他们配置了 PyTorch torchrun、DDP 和 NCCL，每节点一个进程，模型深度 20，本地批大小 32，上下文 2048 token，全局批大小 131072 token。运行稳定，步时间约 69.4 秒（约 1890 token/s），四天处理约 6.53 亿 token。文档详细记录了链路配置、容器设置、接口绑定、一个导致 NCCL 超时的 step-zero 评估 bug、检查点以及故障排除经验。此外，他们还从 77 条 CISA 公告构建了网络安全微调数据集（338 训练、37 验证对话），并进行了 17 个问题的评估。
该报告展示了在桌面级硬件上进行多节点分布式训练是可行的，但需要仔细配置网络和软件。使用 200 Gb/s 直连光纤和 NCCL 实现了约 1890 token/s 的吞吐量，表明对于小型模型，网络带宽可能不是瓶颈。step-zero 评估 bug 导致 NCCL 超时，强调了在分布式训练中正确初始化进程组的重要性。
该报告表明，小型实验室和团队可以利用桌面级 DGX Spark 系统进行多节点训练，而无需大型数据中心。这可能会降低分布式训练的门槛，促进更多创新。
对于小型实验室和初创公司，该报告提供了一种低成本进行分布式训练的方法，可能节省基础设施成本。对于硬件厂商，它展示了桌面级 AI 系统的潜力，可能推动相关产品的销售。
未来，随着桌面级 AI 硬件性能的提升和网络技术的进步，多节点训练可能变得更加普及。可验证的下一信号是更多类似的小规模多节点训练案例的出现，以及针对桌面级硬件的分布式训练框架的优化。