回答寫得很順,為什麼還是引用錯文件?
一名售後同事問:「這個型號三年前買的,海外維修也在保固內嗎?」助手找到一份名稱很相近的文件,拿來寫出一段通順的答覆。仔細看才知道,那份文件適用的是另一個型號,而且發佈日期在購買之後。把回答寫得再流暢,也無法替換它一開始找錯的依據。
Cohere 的產品組合可以從這個錯誤理解。它將搜尋、搜尋結果排序與生成回答做成可以分別採用的工具。對有現成搜尋系統的企業,值得買的可能只是一層排序。對正在建立知識助理的團隊,相同工具也可以從查找到回覆一起使用。
從 2019 年創立,到 2024 年推出 Command R
依 Cohere 的官方沿革,公司於 2019 年在多倫多創立,將企業使用視為主要方向。這類客戶經常把模型放進既有的網站、客服或內部工具,對每次呼叫的費用、速度和答案能否追溯都有要求。因此,產品只靠一個好用的聊天介面,很難涵蓋所有需求。
Cohere 在 2024 年公布 Command R,當時把檢索增強生成和工具使用列為設計重點,也說明它可以搭配 Embed 與 Rerank。這個決定讓一項問答工作可以分成幾步。應用先找到資料,再挑出值得交給模型的內容,最後產生回答。公司可以購買其中一段,也能依同一個供應商的方式接起來。
Embed、Rerank、Command 各自負責什麼?
Embed 會把文字轉成向量,讓查詢與意思相近的內容可以被找出來。使用者寫「拿去國外修」,文件可能寫「境外送修」。向量搜尋能幫忙找出寫法不同但可能相關的候選文件。但如果原始資料同時包含多個產品世代,只以相似度取前幾篇,仍可能把同系列但不同型號放到一起。
Rerank 會根據提問重新評估候選結果,再調整排序。若搜索先找到十份文件,重排序可以讓同時提到型號、購買時間和海外維修的內容更有機會排在前面。它能處理的是已經找到的候選。若真正適用的文件根本沒被檢索進來,還要回去調整資料或搜尋條件。
Command 接收提問與資料,依提示組織回覆。它可以幫同事把保固條件寫得比較容易讀,也能依設計附上參考資料。應用還是要控制模型何時可以形成結論。若文件只說「依購買地區而異」,更好的系統行為可能是先追問購買地點。這要讓產品團隊事先寫進驗收題,才知道改模型或排序後是否有進步。
為什麼企業願意分開買?
假設售後部門已經有一套用關鍵字查手冊的系統。它的問題只是相關內容經常出現在第二頁。這種情況可以先試重排序,看看第一屏是否更常找到正確文件。若改善成立,企業不必同時更換資料庫和聊天介面。另一個部門如果還沒有向量搜尋,便可能先採用 Embed,並保留原本的回答方式。
這是 Cohere 產品設計上的商業選擇。將能力拆開之後,客戶可從一個明確的問題開始採購。供應商要提供的是能被其他工具接起來的介面、文件與適用的部署方式。對企業,彈性可以降低一次改動太多系統的風險,但也需要有人負責組合、測試,以及出錯後判斷該找哪一方。
Cohere 的公開計費資訊也把不同產品分項呈現。採購時可以記錄每月新增多少文件、查詢時要重排幾筆候選,以及有多少問題需要生成回覆。三種用量會隨資料與搜尋方式一起變動。只比較聊天模型的單價,容易低估前兩項對整體預算的影響。
先找到錯誤發生的地方,再決定預算花在哪裡
拿一批已處理完的客服工單做測試,先替每題寫下正確文件、有效版本、必要條件和負責人。每次執行時,不只留最後答案,也記錄最初搜到哪些資料、重排後留下哪些段落,以及模型是否保留引用。有了這些記錄,團隊才知道是正確文件從未被找到,還是它被排到太後面,又或者模型讀到了卻推錯結論。
若問題集中在型號本身,除了向量,也可試更精確的欄位過濾。若找到的文件正確但條款沒被保留下來,可以調整傳給模型的格式或人工覆核規則。比較時還要記錄延遲、服務費與人工查錯所花時間。這些資訊能幫企業判斷加一個模型、整理原始資料,還是調整既有搜尋,哪一項最有機會改善交付。
回到開頭,這位同事需要的是能回答「是否在保固內」的依據。只要系統能更快找到有效文件,並在缺少購買地區時清楚交還人工,就已減少一部分工作。Cohere 把企業搜尋拆成多個可以各自驗收的環節,讓客戶能為真正卡住的步驟付費,也讓下一次改版有一組可以重做的測試。
