Groq的张量流处理器(TSP)芯片现已上市，可加速云中客户的AI工作负载。Nimbix提供的此云服务将Groq硬件用作仅针对“选定客户”的按需服务。Groq现在加入了Graphcore，成为仅有的两家提供商业上可供客户使用的加速器的云服务提供商。
Groq的TSP硅片现在仅用于“选定客户”的Nimbix机器学习加速按需服务中。
Nimbix的首席执行官Steve Hebert表示：“ Groq的简化处理体系结构是独一无二的，可为计算密集型工作负载提供前所未有的确定性性能，并且是我们基于云的AI和深度学习平台的令人兴奋的补充。”
Groq的TSP芯片具有高达1,000 TOPS(每秒1 Peta操作)的能力，该芯片也在去年秋天推出。Groq最近发布的结果表明，该芯片如何针对ResNet-50 v2推理每秒实现21,700推理。Groq认为，这使基于GPU的系统的性能提高了一倍以上。Groq发布的结果表明，它们的体系结构是最快的并且可能是最快的商用神经网络处理器之一。
Groq的联合创始人兼首席执行官乔纳森·罗斯(Jonathan Ross)表示：“这些ResNet-50的结果证实了Groq独特的机器学习加速架构和方法提供了比我们的竞争对手快得多的推理性能。”他还表示：“这些基于行业标准基准而不是仿真或硬件仿真的真实证明，证实了Groq的技术为机器学习和人工智能应用带来了可观的性能提升。”
一个关键特性是Groq的性能优势不依赖于批处理。批处理是数据中心中的一种常见技术，在该技术中，一次处理多个数据样本以提高吞吐量。根据Groq的说法，即使批量= 1，它的体系结构也可以达到最高性能。这是推理应用程序的共同要求，这些应用程序可能正在处理实时到达的数据流。新的TSP芯片在批处理= 1的情况下，与大批量处理的GPU相比，具有2.5倍的延迟优势，Groq表示，实际的延迟优势接近17倍。