第二家供應商,必須真的接得住工作
假設一家做企業文件搜尋的軟體公司,平常要替客戶建立索引,也讓模型根據找到的資料整理答案。月底有新客戶準備上線,原先租用的 GPU 不夠,另一家雲端業者可以立即提供 AMD 的機器。採購看到多一個供應來源,工程師則要確認程式能否啟動、尖峰會不會變慢、遇到故障時值班人員要去哪裡查。
公司可以先把文件索引搬過去。它可以集中在夜間跑,也容易拿相同文件比對。即時問答可以等下一輪,因為使用者會直接感受到延遲。即使最後只搬了索引,採購也多了一個可以使用的選項。AMD 要爭取的,往往就是企業願意交出第一段工作。
2023 年,AMD 用 MI300X 切入大型模型的記憶體需求
AMD 在 2023 年 12 月推出 Instinct MI300 系列。MI300A 把 CPU 與 GPU 結合在同一個設計裡,MI300X 則是配有 192 GB HBM3 記憶體的 GPU 加速器。兩種設計回應了不同的高效能運算與生成式 AI 需求。
用簡化的例子來看,一個有 700 億個參數的模型,每個參數用 16 位元儲存,光權重就約 140 GB。正式執行還要留空間給推論程式和對話過程中的暫存。同時服務的使用者增加,這些暫存也跟著增加。容量最後會變成營運問題。一台機器能容納多大的模型?可以同時服務多少人?需要幾張卡?
如果能在達到延遲目標的前提下,將工作集中到較少卡,部署有機會變簡單。若應用本來就跑小模型,或已經用量化降低記憶體需求,額外容量未必最有價值。這時更該測的是給定預算下能處理多少工作,以及尖峰時需不需要排隊。
ROCm 如何讓開發者保留原本的程式?
ROCm 是 AMD 的 GPU 運算軟體平台,HIP 則協助移植底層 GPU 程式。PyTorch 在 ROCm 上沿用 torch.cuda 介面。所以即使程式寫著 torch.device("cuda:0"),相應的 PyTorch 版本仍可用它指向 AMD GPU。一部分模型可以保留原有程式。
真正的差異通常在更下面一層。假設工程師同時用了一個只提供 CUDA 編譯版本的套件,模型程式一行也沒改,容器卻可能載入失敗。即使能換套件,仍要重測輸出與速度。最後還要處理驅動版本、監控指標、告警和復原。程式要改多少,以及服務要花多久才能上線,得分開估算。
企業需要的相容性分散在框架、套件、硬體與雲端服務之間。一項依賴沒準備好,就可能推遲上線。對客戶而言,評估生態系成熟度的方法,是拿現有專案的依賴清單逐項試過,並記下碰到各類問題時能找哪一家支援。
誰會先買單?能把一段工作獨立搬遷的團隊
雲端服務商可以把類似的推論工作集中部署,自己負責容器與伺服器,再將測過的配置提供給多個客戶。移植和維護成本可以分攤。對單一企業,文件向量化、日誌分類和夜間摘要也可以是起點。只要輸入輸出定義清楚,就能拿一小批資料實際試算。
第一輪先讓兩套環境跑相同資料,記錄完成時間、重跑次數與排查工時。若 AMD 的租金較低,第一次部署卻要多花兩週,企業可以算出處理多少文件才回本。若在意原供應商缺貨時能接手,也能把備援價值列入採購決定。先確定每晚的文件處理能按時交付、值班團隊接得住,就可以再分配下一批工作。
