美國AI芯片初創(chuàng )企業(yè)Groq成功融資6.4億美元

8月6日消息，美國人工智能（AI）芯片初創(chuàng )公司Groq于當地時(shí)間周一成功獲得了6.4億美元的D輪融資，以加強其云端大模型推理能力。

據了解，Groq最新一輪融資由 BlackRock、Neuberger Berman、Type One Ventures、Cisco Investments、Global Brain 和 Samsung T催化劑等公司領(lǐng)投。

這家總部位于美國加利福尼亞州山景城的初創(chuàng )公司成立于 2016 年，是一家 AI 芯片生產(chǎn)商，旨在實(shí)現高吞吐量、低成本的推理，而不是訓練。該公司核心團隊來(lái)源于谷歌最初的張量處理單元（TPU）工程團隊。Groq 創(chuàng )始人兼CEO Jonathan Ross是谷歌TPU項目的核心研發(fā)人員。該公司硬件工程副總裁Jim Miller 曾是亞馬遜云計算服務(wù)AWS設計算力硬件的負責人，還曾在英特爾領(lǐng)導了所有 Pentium II 工程。截至目前，Groq 總共籌集了超過(guò) 10 億美元，現在的估值已達 28 億美元。

今年2月，Groq推出了全球首個(gè)基于LPU（Language Processing Unit）方案的大模型推理芯片，作為一款基于全新的TSA 架構的Tensor Streaming Processor (TSP) 芯片，旨在提高機器學(xué)習和人工智能等計算密集型工作負載的性能。

雖然Groq的LPU并沒(méi)有采用更本高昂的尖端制程工藝，而是選擇了14nm制程，但是憑借自研的TSA 架構，Groq LPU 芯片具有高度的并行處理能力，可以同時(shí)處理數百萬(wàn)個(gè)數據流，并該芯片還集成了230MB容量的SRAM來(lái)替代DRAM，以保證內存帶寬，其片上內存帶寬高達80TB/s。

根據官方的數據顯示，Groq的LPU芯片的性能表現相當出色，可以提供高達1000 TOPS (Tera Operations Per Second) 的計算能力，并且在某些機器學(xué)習模型上的性能表現可以比常規的 GPU 和 TPU 提升10到100倍。

Groq表示，基于其LPU芯片的云服務(wù)器在Llama2或Mistreal模型在計算和響應速度上遠超基于NVIDIA AI GPU的ChatGPT，其每秒可以生成高達500個(gè) token。相比之下，目前ChatGPT-3.5的公開(kāi)版本每秒只能生成大約40個(gè)token。由于ChatGPT-3.5主要是基于NVIDIA的GPU，也就是說(shuō)，Groq LPU芯片的響應速度達到了NVIDIA GPU的10倍以上。Groq表示，相對于其他云平臺廠(chǎng)商的大模型推理性能，基于其LPU芯片的云服務(wù)器的大模型推理性能最終實(shí)現了比其他云平臺廠(chǎng)商快18倍。

另外，在能耗方面，英偉達GPU需要大約10到30焦耳才能生成響應中的tokens，而Groq LPU芯片僅需1到3焦耳，在推理速度大幅提升10倍的同時(shí)，其能耗成本僅有英偉達GPU的十分之一，這等于是性?xún)r(jià)比提高了100倍。

Groq的策略是使用光纖互連將數百個(gè)LPU拼接在一起，每個(gè)LPU都裝有片上SRAM。通過(guò)使用 576 個(gè) LPU 的集群，Groq 聲稱(chēng)它能夠在 Meta 的 Llama 2 70B 模型上實(shí)現每秒超過(guò) 300 個(gè)令牌的生成速率，是具有 8 個(gè) GPU 的 HGX H100 系統的 10 倍，同時(shí)消耗十分之一的功率。

Groq公司在演示中展示了其芯片的強大性能，支持Mistral AI的Mixtral8x7B SMoE，以及Meta的Llama2的7B和70B等多種模型，支持使用4096字節的上下文長(cháng)度，并可直接體驗Demo。不僅如此，Groq還喊話(huà)各大公司，揚言在三年內超越英偉達。目前該公司的LPU推理芯片在第三方網(wǎng)站上的售價(jià)為2萬(wàn)多美元，低于NVIDIA H100的2.5-3萬(wàn)美元。

編輯：芯智訊-浪客劍