Apr 20, 2024 · Groq
Groq Launches Meta's Llama 3 Instruct AI Models on LPUTM Inference Engine
2024年4月20日，Groq宣布在其LPU推理引擎上运行Meta AI的Llama 3 Instruct 8B和70B模型。
EVENT STORY
Development
- First ReportGroq Launches Meta's Llama 3 Instruct AI Models on LPUTM Inference EngineGroq
- Current Assessment这一合作表明推理硬件市场正在多元化，LPU等专用芯片可能成为GPU的替代方案。Groq与Meta的合作可能推动更多模型在LPU上部署，但需观察其他模型是否跟进。Agent Pulse · analysis
2024年4月20日，Groq宣布在其LPU推理引擎上运行Meta AI的Llama 3 Instruct 8B和70B模型。这一合作将Meta的Llama 3 Instruct模型部署在Groq的LPU推理引擎上，旨在提供高速推理服务。
Groq的LPU推理引擎针对推理工作负载进行了优化，与GPU相比可能提供更低的延迟和更高的吞吐量。Llama 3 Instruct 8B和70B模型在LPU上的运行表明，LPU能够支持大规模语言模型的推理，但具体性能指标未在证据中提及。
这一合作表明推理硬件市场正在多元化，LPU等专用芯片可能成为GPU的替代方案。Groq与Meta的合作可能推动更多模型在LPU上部署，但需观察其他模型是否跟进。
对于Groq，这有助于其商业化推广；对于Meta，扩大了Llama 3的生态。但具体商业条款未披露。
未来可关注Groq是否扩展支持更多模型，以及LPU在推理市场的份额变化。