企業 AI Agent 上線後怎麼量測成效？6 項 KPI 建立可持續優化機制

AI Agent 的成效，不是回答得像人就夠了

當 AI Agent 能查詢知識庫、讀取 ERP、建立工單或呼叫 API 時，企業真正需要確認的是任務是否正確完成、是否在授權範圍內行動，以及是否比原本流程更有效率。只看按讚率或對話數量，無法判斷它是否帶來實際營運價值。

Google Cloud 將生產環境 Agent 的量測分為可靠度與營運效率、採用與使用情形、商業價值三個面向。這提醒企業：模型表現、工作流程與商業成果都需要被量化，而不是只在 PoC 展示時確認一次。

KPI 一：任務成功率，確認流程是否真正完成

先為每一種任務定義可驗證的完成條件。例如庫存查詢必須回傳正確品號與可用量；建立工單必須欄位完整且成功寫回；客服分流必須轉到正確部門並附上摘要。任務成功率應以這些可驗證結果計算，而不是以 Agent 是否產出文字計算。

KPI 二：人工接手率，找出最值得改善的環節

人工接手是重要的安全網，不代表 Agent 失敗。應將接手原因區分為資料不足、需要授權、風險操作、系統錯誤、模型無法判定與使用者主動要求真人。某類問題的接手率持續上升，通常代表知識庫、流程規則或權限設計需要調整。

KPI 三：工具呼叫正確率，避免流程看似完成卻做錯事

對可呼叫 ERP、CRM、POS 或第三方 API 的 Agent，需檢查是否選對工具、是否使用正確參數、是否遵循既定步驟，以及失敗時是否停止或轉人工。工具選擇正確性、參數臆測率與流程遵循度，能比單純的文字品質更早發現營運風險。

KPI 四：回覆品質與事實依據，讓答案可被驗證

對 RAG 知識庫型 Agent，可定期抽樣檢查答案是否引用正確文件、是否使用過期內容，以及資料不足時是否拒答或轉交人員。除滿意度外，建議建立涵蓋常見問答、模糊提問、過期規則與權限外資料的測試題庫，並在提示、模型、工具或文件有重大變更後重跑。

KPI 五與六：成本、等待時間與安全事件必須一起看

應追蹤每項任務的平均處理時間、模型與工具呼叫成本、重試次數與節省工時；若自動化使處理更快卻大量重試或成本失控，就應調整模型路由、快取、檢索切分或流程設計。

同時記錄被拒絕的高風險操作、越權請求、提示注入嘗試與人工覆核結果。NIST 正推動 AI Agent 身分與授權實務，強調可辨識的身分、可授權的範圍與可稽核的責任鏈；這些紀錄能讓企業在事件發生時追查並改善。