哪些合約可以上雲,哪些得留在指定環境?
一家有海外子公司的製造商想用 AI 整理採購合約。公開版條款經法務同意可以交由雲端服務處理,談判中的文件卻只能留在公司指定的系統內。主管想讓兩邊的同事維持類似的操作方式,工程師則要確認各種部署能否穩定交付。模型回答得再好,如果無法放在適合它的位置,團隊也很難把它納入正式流程。
Mistral AI 想抓住的就是這類採購需求。它同時提供可下載的模型與自家平台,也有直接面向工作者的介面。它的商業問題是,能不能用早期的模型吸引開發者開始測,再讓有正式使用需求的企業願意為服務、支援與部署條件付費。
2023 年推出 Mistral 7B,先讓開發者能自己試
2023 年 9 月,Mistral AI 以 Apache 2.0 授權發表 Mistral 7B。公司在當時提供本地與雲端等部署路徑,也發布指令調整版本。對開發者而言,一個模型能下載,就有機會先用自己準備的資料測試,也能留下確切版本,日後重新比較新的配置。
這個選擇能把產品送到許多 Mistral 自己不營運的環境。雲端與開源工具團隊有機會替它補上相容方案,使用者也可以分享在不同裝置上測過的結果。企業若最後只使用權重,未必會向原公司付款。相對的好處是,模型更容易成為新專案選型時的一個可測選項。這跟只提供一個試用介面,能接觸到不同種類的開發者。
Mixtral 怎麼在運算需求和部署之間做取捨?
同年 12 月,Mistral AI 發表 Mixtral 8x7B,也是以 Apache 2.0 授權發布。它使用稀疏專家混合架構。每個詞元只會送到一部分專家運算,系統可以在每一步少做一部分計算。實際部署時,仍要讓該用到的權重可以被系統取得,也要考量記憶體、輸入長度與同時使用的人數。
以合約為例,公司可能期待長文件能快速產生摘要。只看每個詞元啟用的參數,無法確定一張卡是否合適。工程師要用真實長度的合約和實際尖峰流量測試,也要記錄不同精度下是否漏掉付款條件或特殊例外。這才有辦法看出架構優勢會不會反映在每份合格摘要的成本上。
模型、託管服務和工作介面,分別賣給誰?
在企業環境裡,可下載模型提供部署自主性。託管 API 則讓產品團隊不用先準備一套推論設備,就能將模型加入既有應用。Mistral 也推出面向工作者的應用介面,目前產品頁稱為 Vibe,原名 Le Chat。部署文件另列出由客戶運行部分執行元件的自架方式,適用條件要以產品與版本為準。
這幾條路面向的採購者並不相同。自己維護環境的金融或製造團隊,可能要確認執行位置與資料路徑。軟體團隊想盡快把功能送進測試環境,可能先用 API。業務希望用現成介面整理檔案,則會先試能不能直接完成工作。公司可以在同一個模型供應商找到幾種入口,但也得逐一確認哪一種有需要的授權、資料處理條件與支援。
Mistral 提供部分可下載模型,可以讓客戶在採納前自己測。它仍能以託管推論、企業部署和現成工具承接客戶不想自行負擔的部分。實際收入多寡,不能從下載次數直接推算。對觀察者而言,可以追蹤有多少選型最後走到正式運行,以及客戶是為了速度、支援或部署條件付費。
產品命名和託管版本都會變,幾年前能下載的權重也可能已從雲端服務下架。評估時可以另列一欄,記下公司需要維護的確切版本、升級時的最低相容條件,以及供應商停止提供某個版本後,現有工作能不能繼續運作。這會直接影響企業為部署彈性付出的實際成本。
用兩種文件驗收,才知道哪些工作值得自架?
選一份可用雲端的公開文件,再選一份經授權且須留在指定環境的測試文件。把摘要要有的欄位、哪些內容必須引用和錯誤時如何交還人工寫清楚。兩邊用同樣條件量回覆速度、需要人工覆核的比例,以及硬體、運算與維運工時。碰到模型更新時,也要確認誰重跑測試,誰決定是否切換。
如果只有一小批文件有限制,公司可以評估只維護那段自架流程,其他案件用託管服務。若大部分流程都要自己管,再把監控、備援和人員一起列進預算。Mistral 的產品選擇會讓這幾種做法有比較空間。企業能不能從中得到好處,則要看它能否把「部署自主」換成具體的權限條件、文件範圍和長期支出。
