一段話打得快,整通電話就會變快嗎?
想像你打電話改預約時間。電話助理先問你原本預約哪一天,查到資料後,再提出兩個可以改約的時段。只要中間幾次停頓太久,你就會開始懷疑電話是不是斷了。語音辨識、資料庫查詢、文字生成和語音合成各會花時間,任何一段卡住,都會改變整通電話的感受。
Groq 切入的是模型推論。當一個模型已經訓練好,每次收到請求,都要再執行一組運算才能產生回答。對聊天、語音和程式協作這類互動工具,這筆時間每一輪都要付一次。Groq 的商品,就是讓開發團隊可以透過 API,替這段工作買到可量測的速度。
從晶片設計開始,為什麼還要重做編譯器?
一般模型一次包含許多運算。硬體要把資料讀進來,計算完成後,再將結果交給下一個運算。若同一段模型分配到不同晶片,還要安排它們何時交換資料。能同時跑多少運算固然重要,資料什麼時候到、下一個運算要等多久,也會直接影響速度。
Groq 把自家加速器稱為 LPU。依公司公開說明,它使用晶片內的 SRAM,並讓編譯器先排定運算、讀取資料與傳輸的時機。用簡化的例子來說,假如第四步得用到第二步算好的結果,編譯階段就會為這段依賴安排行程。執行時有比較多工作可以照事先排好的時間進行。
這個做法把工程重心移到編譯器和模型部署。換一種模型架構,實際效益要看編譯器如何映射運算、記憶體如何安排,以及跨晶片傳輸要花多少時間。即使晶片層級排程可預期,面向客戶的 API 仍然會經過網路與請求佇列。測試時應把這兩層分開,才能知道不穩定出在哪裡。
GroqCloud 讓開發者先測速度,再決定要不要搬工作
如果 Groq 只出售硬體,團隊得先採購設備、安排機房並把模型搬過去,才看得到差異。GroqCloud 提供的是另一個入口。使用者從支援的模型開始,透過 API 送資料,就能在自己的產品上試跑。對開發團隊,第一筆投入從部署一套設備,變成準備一組能代表實際流量的測試。
這也改變 Groq 需要管理的事情。當客戶把速度當成功能,雲端服務商要交付的包含可用容量、尖峰的等待時間與出錯後的處理。比如平常模型能迅速吐出字幕,活動開播時有十倍觀眾,佇列排太長,原先的優勢可能就看不到了。客戶續用看的是尖峰能接住多少請求,以及長期的帳單是否和提供的價值相符。
NVIDIA 為什麼會來授權?
2025 年 12 月,Groq 宣布與 NVIDIA 簽訂非獨家推論技術授權協議。依公告,創辦人 Jonathan Ross 等人加入 NVIDIA 協助發展獲授權技術。Groq 表示公司會繼續獨立營運,GroqCloud 持續提供服務。到 2026 年,Groq 又公布取得 6.5 億美元成長資金以擴張推論雲端業務,並宣布加入 NVIDIA Cloud Partner 計畫。
把這些公告放在一起看,Groq 同時有兩條路。一條是讓合作方使用推論技術,另一條是自己經營可供客戶呼叫的服務。對模型服務商,這也顯示專用硬體與通用加速平台可以在同一個產業裡分工。至於合作能帶來多少營收,公開新聞稿提供的資訊有限,仍要從實際上線的服務、容量與後續商業表現來追。
怎麼知道速度值得付多少錢?
回到電話改約的例子。可先用相同的對話腳本,記錄從客戶停止說話到聽見第一句回覆的時間,再把辨識、查詢、模型和合成各自的耗時記下來。假設模型只佔整段等待的一小部分,換模型服務能節省的時間就有限。如果電話的每一輪都在等模型,縮短生成時間才更可能讓人感受到。
正式選型還要重做一次尖峰測試。用相同模型與品質門檻跑不同長度的輸入,再比較首字時間、完成時間、超時率、每通完成電話的成本,以及原本需要的功能是否都支援。若團隊打算用在多個應用裡,也可讓聊天、長文整理與語音分開測。各產品的流量與容忍度不同,看到的結果會比一組每秒詞元數更貼近採購。
團隊也可以把失敗案例拿出來看。若第三方查詢拖慢每一通電話,應先處理查詢。若長回答在尖峰一直卡住,再去比較不同推論服務的產出速度和可用容量。對 Groq 而言,速度能成為一門生意的時刻,是客戶能把它連到一個可驗收的結果,例如縮短平均通話時間、提高自助改約成功率,或讓同一個服務在尖峰接住更多人。
