資料季度更新,模型今天就要回答
假設一家零售公司想把商品庫存、退貨規則與歷史客服紀錄交給 AI,用來協助現場回應顧客。資料工程師已經能將這些資料整理成報表,但客服助理還要回答另外幾題。哪些欄位可以顯示給門市?價格改過後,模型讀到的是哪一版?如果這份回應被顧客退回,團隊能不能看出是資料、檢索還是模型出了問題?
對 Databricks 而言,這些問題讓它既有的資料生意有了新的延伸。企業已經花錢把資料讀進來、整理好、定義誰可以查。當模型也要用這些資料,Databricks 就有機會承接評估、部署與監控等下一段工作。公司的優勢,得落在客戶能少重做多少資料工程。
2013 年,從 Spark 的研究與開源社群出發
Databricks 於 2013 年由加州大學柏克萊分校 AMP Lab 的研究者創立,創辦團隊也參與了 Apache Spark 的早期開發。Spark 讓工程師可以把大規模資料工作分給多台機器處理。這套工具可以依開源方式取得,企業仍需要有人配置運算、管理資料與處理出錯的工作。Databricks 做的商業選擇,是把團隊原本要自己運行的工程環境做成平台。
這類平台能擴張,因為同一份企業資料常被許多人使用。營運同事要查營收報表,工程師要整理事件,分析師想找出哪種客戶容易流失。如果每一組人都複製一批資料到自己的工具,版本和權限很容易不同步。Databricks 主張的 lakehouse 架構,就是讓資料處理與分析能共用底層資料,並以目錄管理可用資產。這個想法走到 AI 應用,會遇到新的驗收條件。
從報表走向模型,為什麼要買 MosaicML?
2023 年 6 月,Databricks 宣布簽約收購 MosaicML,估值約 13 億美元,包含留才方案。這筆交易瞄準的是模型訓練與部署能力。這個決定意味著它想在資料已準備好的地方,接住後面的模型工程。對需要自行調整模型或建立企業應用的團隊,資料平台有機會同時支援準備資料、記錄實驗與發佈模型服務。哪些步驟值得在同一個平台做,仍要看企業原本有哪些工具與維護能力。
例如,客服助理第一版可能用現成模型和檢索就能交付。等團隊做出一組真實工單,自然會開始發現某些報錯情境很難答,或公司用語需要反覆校正。這時可以先改資料切分和檢索,真的需要時才做微調。模型部署工具的價值之一,是讓團隊可以替換其中一項設計,用同一批測試題比較變化。
一份資料目錄,能替 AI 專案省下什麼?
在 Databricks 的產品上,Unity Catalog 可以用來管理資料與模型等資產,Mosaic AI Model Serving 提供部署與呼叫模型的入口。把它們放在同一項專案裡,團隊可以追蹤模型版本,也能先確認應用有權讀哪些資料。實際運作時,還得把權限落在各個執行環節,並讓維護人員知道中斷時要找誰。
以前面的零售場景為例,如果退貨規則剛修訂,助理要能指向新的權威來源。資料目錄能幫忙確認資料在哪裡和誰擁有,但它無法代替業務主管決定哪份文件有效。要等公司把版本、資料更新與應用程式的讀取規則接起來,員工才有機會持續看到正確答案。這也是平台採購和流程設計要一起驗收的理由。
客戶為什麼付費,什麼時候又不划算?
Databricks 的運算與模型服務有不同計費方式,企業需要按實際使用的工作負載估算。已經用這個平台管理資料的公司,若能沿用權限、運算和追蹤,可能會少做一部分整合。相反地,如果公司只有一個低頻助理,而資料與模型已在別的工具裡順暢運作,額外引入平台可能增加維護責任。
採購前,可以用同一個客服應用比較兩種配置。一種沿用現在的資料與模型工具,一種把模型服務放到資料平台附近。先計算開發者花多少時間準備來源、建立評估和部署,再測資料更新後多久能正確回答、出錯後多久查得到原因。這樣做也會讓帳單更好解讀,例如把閒置運算、資料管線、模型服務與人員維護分開記。
最後,問一個容易驗收的問題。商品表或退貨規則改了,團隊需要幾個人、花多少時間,才能把可信的新答案交還門市?如果平台能讓接手的人少查幾個系統,模型改版又能用原有的測試重新驗收,資料平台就不只是多了一項 AI 功能。Databricks 能得到更多企業支出,是因為它有機會把公司已經會管理的資料,接到下一件願意為成果付費的工作上。
