企业 AI Agent 上线后怎么量测成效？6 项 KPI 建立可持续优化机制

AI Agent 的成效，不是回答得像人就够了

当 AI Agent 能查询知识库、读取 ERP、建立工单或呼叫 API 时，企业真正需要确认的是任务是否正确完成、是否在授权范围内行动，以及是否比原本流程更有效率。只看按赞率或对话数量，无法判断它是否带来实际营运价值。

Google Cloud 将生产环境 Agent 的量测分为可靠度与营运效率、采用与使用情形、商业价值三个面向。这提醒企业：模型表现、工作流程与商业成果都需要被量化，而不是只在 PoC 展示时确认一次。

KPI 一：任务成功率，确认流程是否真正完成

先为每一种任务定义可验证的完成条件。例如库存查询必须回传正确品号与可用量；建立工单必须栏位完整且成功写回；客服分流必须转到正确部门并附上摘要。任务成功率应以这些可验证结果计算，而不是以 Agent 是否产出文字计算。

KPI 二：人工接手率，找出最值得改善的环节

人工接手是重要的安全网，不代表 Agent 失败。应将接手原因区分为资料不足、需要授权、风险操作、系统错误、模型无法判定与使用者主动要求真人。某类问题的接手率持续上升，通常代表知识库、流程规则或权限设计需要调整。

KPI 三：工具呼叫正确率，避免流程看似完成却做错事

对可呼叫 ERP、CRM、POS 或第三方 API 的 Agent，需检查是否选对工具、是否使用正确参数、是否遵循既定步骤，以及失败时是否停止或转人工。工具选择正确性、参数臆测率与流程遵循度，能比单纯的文字品质更早发现营运风险。

KPI 四：回复品质与事实依据，让答案可被验证

对 RAG 知识库型 Agent，可定期抽样检查答案是否引用正确文件、是否使用过期内容，以及资料不足时是否拒答或转交人员。除满意度外，建议建立涵盖常见问答、模糊提问、过期规则与权限外资料的测试题库，并在提示、模型、工具或文件有重大变更后重跑。

KPI 五与六：成本、等待时间与安全事件必须一起看

应追踪每项任务的平均处理时间、模型与工具呼叫成本、重试次数与节省工时；若自动化使处理更快却大量重试或成本失控，就应调整模型路由、快取、检索切分或流程设计。

同时记录被拒绝的高风险操作、越权请求、提示注入尝试与人工覆核结果。NIST 正推动 AI Agent 身分与授权实务，强调可辨识的身分、可授权的范围与可稽核的责任链；这些纪录能让企业在事件发生时追查并改善。