一個看似平常的客服問題,可以怎麼測?
如果企業用 Claude 草擬客服信,一名自稱採購窗口的人來信,要求查看同事的訂單。助理需要先理解他為什麼問,再判斷此刻有哪些資料可以引用,有沒有必要轉交人工。只寫一句「請注意隱私」很難涵蓋每次變形。有的請求只是少提供資料,有的請求已經超過客服的查詢權限。
Anthropic 試著把這類判斷變成可以研究的問題。一套原則能否影響模型遇到不同提問時的做法?如果改了一條原則或訓練流程,是否會讓模型回答得更好,也減少該答卻拒答的情況?這條研究路線後來和 Claude 的產品發展一起往前。
2021 年起步,從可控制與可理解的模型開始
Anthropic 成立於 2021 年。從 2022 年的融資公告可見,公司當時已將模型是否能被引導、在不同情境下是否穩健,以及研究者能否理解它的行為,視為核心問題。公告提出新資金將用於大規模實驗基礎設施。換言之,想研究更有能力的模型在什麼情況下失誤,也得有資源訓練和測試足夠大的模型。
這是一個會影響產品的選擇。模型越能處理複雜任務,企業越可能把更多步驟交給它。原本回覆幾句文字的工具,日後可能開始讀文件、操作工具或把結果寫回系統。每多接一個步驟,就多一個需要定義責任與權限的地方。Anthropic 的研究方向是從模型行為找解法,實際部署還得由採用者配好自己的系統規則。
Constitutional AI 如何把原則帶進訓練?
Anthropic 在 2022 年發表 Constitutional AI 研究。研究先讓模型對自己的回答提出批評,再依預先寫好的原則改寫,將修訂內容用於訓練。在後續階段,讓模型依原則比較候選回答,產生偏好訊號,供強化學習使用。這提供了一種把文字原則反覆用在大量訓練樣本上的方法。
可以用客服問題來理解。原始答覆也許直接提供一份訂單摘要。依原則檢視後,模型可能指出還沒驗證身分,再把回答改成請對方走查驗流程。當研究者保存了原始答覆、批評和修訂,就能追查是哪一種問題被模型辨識、什麼條件會讓它改變做法。
這個方法的效果仍要透過外部測試檢查。原則之間可能產生拉扯,模型也可能誤判請求。公司可以用它研究如何引導行為。應用團隊則需要用自己的案例量出哪種失誤會真的影響工作,例如系統太常把正常查詢轉交主管,或在沒有依據時寫得過於肯定。
Claude 如何從實驗室走到企業桌面?
Anthropic 在 2023 年介紹 Claude。公告提到,公開前已和 Notion、Quora、DuckDuckGo 等合作方測試。合作方可以帶來真實使用環境。一段模型答覆出現在筆記工具、問答應用或搜尋結果上,使用者對篇幅、來源和下一步的要求就會不同。
企業付費採用 Claude 時,也可以從不同入口開始。有些團隊要讓同事直接開一個介面整理文字或文件,有些產品則透過 API 把模型加入現有工作。有了現成介面,企業可以先測同事使用頻率和回饋。走 API 的團隊,需要另外把資料來源、權限、審核和故障復原接起來。這兩種採用方式,對商業模式和客戶決策都有影響。
算力和通路為什麼常出現在同一份合作公告?
Anthropic 在 2024 年宣布,Amazon 將追加 40 億美元,使當時公告的累計投資達到 80 億美元。合作也包含 AWS 作為主要雲端與訓練夥伴,以及雙方對 Trainium 硬體與軟體的技術合作。這組數字屬於當時的公告,可以用來理解那一階段的合作規模。
對模型公司,資本可以支付長期研究和產品開發。雲端合作則關乎模型在哪裡訓練、用哪些工具最佳化,以及企業客戶如何取得這個模型。對雲端公司,企業已經付費使用的網路、權限和帳務系統,能成為導入新模型的入口。產品價值有一部分來自輸出品質,另一部分來自採購、整合和部署能否順利完成。
給企業一份可以落地的驗收題
可以準備一組真實客服問題。第一類資料完整,助理應直接整理回覆。第二類欠缺身分或產品條件,需要先補問。第三類超過權限,應交由人工接手。每類都保留可接受答案、資料來源、應轉給誰,以及系統能看到哪些欄位。用不同說法重問同一件事,便能檢查應用會不會因為措辭改變而做不同判斷。
最後分開記錄兩種錯誤。助理過度保守,會讓同事一直重做原本能交給系統的工作。助理錯誤放行,則可能使客戶拿到不該取得的資訊。用這兩項結果回頭修權限、提示、例外處理和測試資料,可以具體看出改善來自哪裡。Anthropic 的研究讓「模型應該如何回答」有了一套可分析的方法。企業還要把這個問題翻成自己的工作規則,才能用實際的客服流程判斷是否值得長期採用。
