AI 公司觀察 / Amazon

Amazon 為什麼讓 AWS 客戶在同一個平台選不同的 AI 模型?

從 AWS 推出 Bedrock 到自有模型 Nova,拆解企業為什麼願意透過同一個平台選用與管理不同模型。

發布日期:

Amazon 標誌

企業做客服助理,第一件事未必是選模型

假設一家電商想讓客服助理依據公開政策回答退貨問題,也想用同一套系統整理內部工單。第一項工作必須能引用正確條款,語氣也會影響品牌。第二項工作則可能每天跑數千次,重點是分類要快、成本要可預估。團隊試過幾個模型後,發現客服回信與工單分類各有適合的選擇。下一個難題,變成這些模型能不能接到同一套企業環境,讓帳務、權限和維運有地方可管。

這是理解 Amazon Bedrock 的起點。它服務的是已經有軟體、資料與治理規則的客戶。模型本身很重要,但採購者還要決定怎麼部署、哪些使用者可以呼叫,以及遇到不適合的回答時如何接回人工。AWS 將這些工作納入平台設計,讓模型供應商可以不同,企業仍有一個熟悉的採用入口。

從 AWS 的基礎設施起家,看 2023 年 Bedrock 的選擇

AWS 原有業務提供運算、儲存和網路,讓企業把原本要自己購置、管理的部分基礎設施交給雲端。生成式 AI 帶來類似的機會。企業可以自行部署模型,也可能希望直接調用已經託管的能力。對 AWS 而言,它可以將模型視為雲端工作負載,再在上面提供一層開發與管理服務。

AWS 在 2023 年 4 月宣布 Bedrock,9 月正式推出,當時列出的模型供應商包括 Anthropic、Cohere、Stability AI、AI21 Labs 和 Amazon。這是個明確的取捨。平台將一部分模式統一給開發者使用,同時保留不同供應商的能力差異。客戶可以先比較模型,也可以隨應用成長再重新分配工作。

例如,同樣是整理客服資料,團隊可能讓一個模型做簡單分類,另一個模型處理有多條例外的政策解讀。能在同一個平台做比較,會省下重新安排帳務和部署的一部分工作。各模型支援的輸入、工具和區域仍可能不同,負責維運的人需要以實際部署配置重新確認。平台能降低試用門檻,正式切換時還是要驗收輸出及成本。

為什麼 AWS 同時提供自家模型?

Amazon 一方面讓合作方在 Bedrock 提供模型,也以 Amazon Nova 發展自有模型家族。兩條路放在同一個平台,可以服務不同採用需求。有些企業已經知道偏好哪一個外部模型,希望用既有雲端環境採用。有些團隊則願意把自家與外部選項放在同一批題目裡測,挑出適合大量執行的配置。

從 Amazon 的經營角度看,Bedrock 讓 AWS 能參與模型被採用後的雲端工作。模型呼叫只是其中一段,旁邊可能還有資料儲存、檢索、記錄和應用程式。Amazon 研發自己的模型,則多了一個可以貼近特定用途調整的產品選項。對客戶來說,自家模型與外部模型都要用業務結果評估,才知道是否值得採用。

一張費率表之外,客戶真正付錢買了什麼?

Bedrock 的公開計費依模型與使用方式而異,部分場景可以按用量採購,部分部署選項涉及容量承諾。這筆支出可以和既有雲端採購一起規劃。資訊部門也能按照原本的責任分工,安排誰管理帳號、誰審核資料、誰負責服務品質。對採購方,這省掉的是重新建立部分基礎設施與流程的工夫。

但在客服例子裡,一次呼叫的費用還不能代表一封成功回信的成本。應用若要先查條款、再詢問模型、最後由人工簽核,就需要各自估算時間與支出。若模型常給出需要重寫的回答,便宜的請求也可能變成昂貴的交付。可以先用十幾個包含例外的真實工單,逐一記錄所用模型、正確率、延遲與人工修改,再比較不同配置。

底層換得動,產品才有選擇權

企業可以先把「可接受的客服答案」寫成驗收資料,保留正確條款、需要追問的欄位、適用日期與轉交條件。以後想改用另一個模型,就拿同一批例子比較,再用小部分流量觀察有沒有新的失敗。當測試和資料來源都能沿用,模型清單才真正變成可使用的選擇,而非一張功能表。

Amazon 讓 AWS 客戶在 Bedrock 上選不同模型,押注的是企業願意為可管理的環境和部署便利付費。電商最後也許只選了一個模型,也可能每種工作用不同版本。對它來說,判斷平台值不值得長期留用的方式很具體。下一次要加一個部門、換一個模型或處理尖峰時,團隊能否用相同的驗收方法重新交付?

延伸資料

查看公司專欄

LINE 洽詢