Groq：比ChatGPT和Gemini更快的人工智能加速器 第1张图片来源：Ray-project / GitHub com

虽然我们还没有测试过，但 Groq LPU 还能与扩散模型协同工作，而不仅仅是语言模型。根据演示，它可以在一秒钟内生成 1024px 不同风格的图像。这是非常了不起的。

在中，Groq 称其 LPU 具有可扩展性，可以通过光学互连将 264 个芯片连接在一起。它还可以通过交换机进一步扩展，但这会增加延迟。据公司首席执行官乔纳森-罗斯（Jonathan Ross）称，公司正在开发可扩展到 4128 个芯片的集群，将于 2025 年发布，它是在三星的 4 纳米工艺节点上开发的。

在Groq使用70B Llama 2模型上的576个LPU进行的基准测试中，它进行人工智能推理的时间只有Nvidia H100 GPU集群的十分之一。

不仅如此，Nvidia GPU 在一次响应中生成代币需要 10 焦耳到 30 焦耳的能量，而 Groq 只需要 1 焦耳到 3 焦耳。总而言之，该公司表示，Groq LPU 在执行人工智能推理任务时，速度提高了 10 倍，而成本仅为 Nvidia GPU 的 1/10。

总的来说，这是人工智能领域一个令人兴奋的发展，随着 LPU 的推出，用户将体验到与人工智能系统的即时互动。推理时间的大幅缩短意味着用户可以在使用语音、输入图像或生成图像的同时与多模态系统即时互动。

Groq 已经向开发者提供了 API 访问权限，因此人工智能模型的性能有望很快得到大幅提升。那么，你如何看待 LPU 在人工智能硬件领域的发展呢？请在下面的评论区发表您的看法。