AI 公司觀察 / NVIDIA

NVIDIA 的 CUDA 為什麼這麼難換?從顯示卡到 AI 資料中心

從 CUDA、cuDNN 到資料中心,追蹤 NVIDIA 如何把運算晶片做成一套企業願意長期採用的平台。

發布日期:

NVIDIA 標誌

2006 年,NVIDIA 讓開發者自己決定 GPU 要算什麼

想像一家軟體公司要把每天收到的數萬份文件轉成向量,讓客戶可以用意思相近的句子搜尋。GPU 能同時處理許多類似的計算。開發者需要一套工具,把工作交給 GPU 執行,管理資料搬移、記憶體和運算結果。

NVIDIA 在 2006 年推出 CUDA,2007 年發布 CUDA Toolkit 1.0。程式可以把合適的工作交給 GPU,也能安排資料怎麼進出。圖形晶片因此多了科學計算、深度學習等用途。企業把程式、測試和工作習慣建立在同一套工具後,下一代硬體推出時就會問:「我們這套已經跑得好好的系統,搬過去要花多久?」

2014 年,cuDNN 把底層最佳化交給函式庫

光有 CUDA,研究人員仍得自己處理不少底層工作。以影像模型為例,神經網路會反覆在畫面不同位置做運算。即使數學公式相同,資料在記憶體裡怎麼擺、GPU 怎麼分工,都可能影響速度。換一代硬體,有些運算還需要重新調整。

2014 年,NVIDIA 與合作研究者發表 cuDNN,把常用的深度學習運算整理成框架可以呼叫的函式庫。研究者可以把時間花在模型上,框架維護者能共用底層實作,NVIDIA 則能集中改善效能。當年論文以 Caffe 示範整合效果。今天,一位工程師即使沒寫過 CUDA,也可能已經在用這套工具鏈。選用 NVIDIA 的決定,有時早已寫在框架、套件和部署範例裡。

客戶買的,是能上線並長期運轉的系統

一台機器上能跑模型,和把模型交給許多客戶同時使用,中間還有一段工程。團隊要知道尖峰時排隊多久、哪台機器的顯示記憶體快用完,以及節點故障如何切換。模型分散在多張卡上時,卡與卡交換資料的速度也會影響整體效能。

依 NVIDIA 2026 財年年報,全年營收約 2,159 億美元,資料中心約 1,937 億美元,接近九成。資料中心網路營收年增 142%,成長來源包括 Blackwell 系統採用的 NVLink,也包括乙太網路與 InfiniBand。GPU、系統與網路的銷售規模,說明客戶購入的硬體已經涵蓋整套機房環境。CUDA 則讓客戶有一條能把既有軟體帶進這些硬體的路。

真要換 GPU,哪些東西搬得走?

PyTorch 在 AMD ROCm 上沿用 torch.cuda 介面。對主要使用框架標準運算的團隊,一部分程式可以原樣執行。應該逐項清點自訂 GPU 運算、只提供特定硬體版本的套件、容器、驅動、監控以及故障復原方式。只搜尋程式裡的 CUDA 字樣,容易高估有些工作,也會漏掉套件裡的依賴。

以文件搜尋為例,先用兩套設備跑同一批夜間文件。核對是否能在隔天開工前處理完、搜尋結果有沒有改變、發生故障時多久能重跑。再測延遲敏感的即時查詢,觀察尖峰排隊、記憶體和多卡擴充,最後加上遷移工時及維護成本。只有在交付相同品質的前提下,兩套平台的成本才值得放在同一張表上。

CUDA 的優勢會在哪些地方變小?

工作越標準化,所需的跨平台套件越成熟,企業越容易選不同的硬體。向 API 供應商購買模型服務的團隊,通常先比較價格、延遲與可用性。自己訓練模型、維護自訂運算或管理大型 GPU 叢集的團隊,換硬體牽動的工作更多。採購者可以先問:「我們要搬的是一個模型,還是一套已經交付給客戶的服務?」

延伸資料

查看公司專欄

LINE 洽詢