企業導入 AI Agent 前：工具權限、人工核准與稽核紀錄的 5 項治理清單

風險不只在回答錯誤，而在於 Agent 能否執行動作

一般聊天機器人的主要風險是答錯或洩漏資訊；但當 Agent 能讀取 ERP、建立客服工單、修改客戶資料或呼叫第三方 API 時，錯誤輸出可能變成實際營運動作。企業應先界定每一項工具的可做與不可做，而不是先追求自動化程度。

OWASP 將提示注入、不安全輸出處理與過度授權列為生成式 AI 應用的重要風險。NIST 的生成式 AI 風險管理指引也強調，風險控制應涵蓋設計、部署、監測與持續改善，而非只在模型上線前測一次。

第一步：建立工具清單與風險分級

每個可被 Agent 呼叫的工具，都應有清楚的用途、資料範圍、擁有部門、輸入欄位與失敗處理規則。先將工具區分為唯讀、可建立草稿、可送出申請、可正式異動四類，才能對應不同的驗證與核准要求。

• 庫存查詢、訂單狀態與知識庫搜尋可採唯讀工具。
• 採購建議、客服回覆與工單內容可先產生草稿。
• 退款、正式報價、資料異動與對外發送應列為高風險操作。

第二步：把查詢、寫入與核准拆成不同權限

不要因為主管本身有完整系統權限，就讓 Agent 使用同一組帳號。Agent 的服務帳號應只擁有必要 API 權限；使用者身分決定其可查詢的資料範圍；涉及寫入、刪除、付款或對外通知時，再由有權人員確認。

以 ERP 為例，業務可以請 Agent 查詢自己負責客戶的訂單與庫存，但不能透過自然語言直接批次改價。Agent 可以產出調撥建議或採購草稿，正式單據仍須依既有流程核准。

第三步：把文件、郵件與網頁都視為不可信輸入

知識庫文件可能含有惡意文字，誘導模型忽略規則、擷取資料或呼叫工具。系統應將系統規則、使用者問題、檢索文件與工具參數分層處理；文件只能作為事實依據，不能改寫系統規則或取得工具執行權。

高風險工具也應驗證欄位格式、金額區間、資料擁有權與目標對象，不能只依模型產生的自然語言直接執行。

第四步：留下可稽核紀錄，同時避免重複保存敏感資料

企業至少要能追查誰在何時透過 Agent 使用哪一個工具、讀取何種資料範圍、是否成功，以及是否經過人工核准。但日誌不應無限制保存完整提示詞、合約、個資或機密回覆，否則日誌本身會成為新的資料外洩面。

AI Gateway 類型架構可集中觀察請求量、Token、錯誤、成本、快取與延遲；對含敏感內容的工作流程，應設定只保留必要中繼資料，而非完整請求與回應內容。

第五步：為失敗與例外設計人工接手

當資料不足、權限不符、模型逾時或工具呼叫失敗時，Agent 應停止高風險操作，說明原因並轉交人工，而不是自行猜測或重試。上線前應以不同角色測試越權查詢、提示注入、錯誤參數與重複呼叫，並定期檢視未使用工具與異常行為。