AT&T and Microsoft scale trillion-token workloads with Microsoft Foundry and AMD
AT&T 使用 Microsoft Foundry Managed Compute、开放 AI 模型以及 AMD 和 NVIDIA GPU 基础设施,处理了约一万亿个 token,用于开发 OTel2.0。
Development
- First ReportAT&T and Microsoft scale trillion-token workloads with Microsoft Foundry and AMDAzure AI Blog
- Current Assessment电信行业开始采用大规模 AI 处理,AT&T 的案例可能推动其他电信公司采用类似方案。Microsoft Foundry 作为托管计算平台,在行业中的采用率可能上升。Agent Pulse · analysis
AT&T 在开发 OTel2.0 过程中,使用 Microsoft Foundry Managed Compute、开放 AI 模型以及 AMD 和 NVIDIA GPU 基础设施,处理了约一万亿个 token。这一案例展示了灵活模型选择和可扩展基础设施如何支持生产级电信 AI 工作负载。
该案例表明,在 Microsoft Foundry 上使用开放模型和混合 GPU(AMD 和 NVIDIA)可以处理万亿级 token 的工作负载。这暗示了基础设施的可扩展性和模型选择的灵活性对于大规模 AI 应用的重要性。下一步可关注 Foundry 是否支持更多开放模型以及混合 GPU 调度的性能优化。
电信行业开始采用大规模 AI 处理,AT&T 的案例可能推动其他电信公司采用类似方案。Microsoft Foundry 作为托管计算平台,在行业中的采用率可能上升。
该案例展示了 Microsoft Foundry 在电信行业的商业价值,可能吸引更多企业客户,增加 Azure 的采用和收入。
未来,更多企业可能效仿 AT&T,使用 Foundry 处理大规模 token 工作负载,尤其是在电信和类似行业。可关注 Foundry 的客户案例和性能基准。