一次回覆,為什麼有兩種等待時間?
想像你向一個程式助理提出問題,貼了十個檔案,請它找出一個錯誤。畫面等了幾秒才出現第一個字,接下來又一行一行打出修法。前一段時間,模型要讀懂提示和檔案,在伺服器端建立暫存。後一段時間,它依序產出新詞元,反覆使用模型權重和先前留下的資料。兩段都會讓人等,但需要的硬體能力不完全相同。
Cerebras 的故事可以從第二段開始看。如果模型每寫一小步,就需要從記憶體讀取大量資料,單看晶片的最高運算量,未必說得出文字什麼時候會出現。Cerebras 做的選擇,是在晶片上放進大量高速記憶體,讓運算核心可以就近取得資料。為了容納這套設計,它也重新考慮了晶片的大小。
把晶圓上的運算區塊連起來
一般一片晶圓上會製造多顆晶片,完成後切成一顆顆使用。做大型運算時,系統再用封裝、板卡與網路把多顆晶片接起來。Cerebras 用晶圓級引擎在同一片矽上連接大量運算區塊,讓更多資料交換能在晶圓內完成。它追求的,是減少部分資料在不同晶片與外部設備之間移動的距離。
這個想法首先要處理一件朴素的事:面積越大,遇到製造缺陷的機會就越多。若整片晶圓上有個局部區塊無法工作,系統仍得能使用其他區塊。Cerebras 在公開申報文件說明,它利用冗餘資源與可重新配置的連線來處理缺陷。接著還要解決供電與散熱,於是晶圓級晶片也需要專門的整機設計。它所出售的硬體是系統,客戶買到的是經過整合的運算環境。
2024 年,WSE-3 把記憶體與運算放在一起
Cerebras 在 2024 年發表第三代 Wafer Scale Engine,簡稱 WSE-3,搭載於 CS-3 系統。公司公布的規格包含 90 萬個運算核心與 44 GB 晶片內 SRAM。這 44 GB 說的是晶片內記憶體,不宜直接拿來推導整個系統能跑多大的模型,或假設所有模型都以同樣方式配置。架構差異要放回實際的模型、精度與服務設定來看。
可以把 SRAM 想成分散在工作桌旁的材料櫃。每次需要資料時,有一部分材料已經在手邊,少了一次搬運。代價是高速記憶體占用晶片面積,而鋪得很大的工作桌也需要不同的設計和供電。Cerebras 以晶圓級面積換到更多近端記憶體與內部連線,這筆交換值不值得,要看工作卡在什麼地方。
從整機到 API,誰會為速度付費?
硬體客戶要考慮機房、整合和部署。把推論能力包裝成 API 之後,開發團隊可以先對支援的模型呼叫服務,用自己的工作量測速度。Cerebras 的公開方案涵蓋隨用付費的開發者方案與面向正式部署的企業方案。客戶付的錢可以對應用量,也可以對應正式環境需要的容量、支援和延遲條件。
速度最容易在等結果的人身上看到價值。程式助理在回傳後可能還要執行測試,找不到錯誤又要再查一輪。如果每輪都要等,整段流程就會拉長。客服摘要若在半夜批次完成,業者可能更在意整晚能處理多少通電話、隔天開工前能否全數交付。即使同一套硬體在兩種情境都很快,採購者願意為快付多少錢,也會不同。
和 AWS 的合作,透露了硬體競爭的另一種做法
Cerebras 公開說明過與 AWS 合作的拆分式推論架構。AWS Trainium 負責讀入提示的 prefill 階段,Cerebras CS-3 負責逐步生成的 decode 階段。這是一個具體的產品設計選擇。同一筆請求可以把兩段工作交給不同的設備。成效也要看設備之間交換暫存資料的成本、排程,以及兩邊容量能不能配合。
這條路使 Cerebras 能專注在某一段運算的表現,也把競爭帶到更細的層次。模型服務商可以為同一個流程挑不同架構,前提是整合後的額外延遲不會把原先的速度優勢吃掉。對使用 API 的公司,這些基礎設施通常藏在服務介面後面,但最後仍會出現在服務的單價、可用容量和回覆時間上。
用一組真實請求,算出快多少才值得
回到開頭的程式助理,可以固定模型與測試題,分別跑短提示、長文件和多人同時使用的情境。除了每秒生成多少詞元,也記錄首字時間、整份回覆完成的時間、尖峰時有多少請求超時,以及答案品質是否相當。若產品還要呼叫其他工具,就把工具等待與模型等待分開記錄。這樣才看得出換一個服務後,讀者真正少等了多久。
Cerebras 最值得觀察的地方,是它把本來藏在資料中心的設計決定,變成開發者可以直接量測的產品體驗。晶圓做得大,是為了重新安排資料和運算的位置。客戶真正能把這項設計用進預算的時刻,則是他能指出哪一段工作因為少等幾秒,完成得更快或服務了更多人。
