AI 影像辨識準確率應該如何評估？
AJ
技術總監・專長：AI 影像辨識與模型訓練、企業私有 AI 引擎導入、ERP / IoT / POS 系統整合、雲端架構與數位轉型規劃
壹立方數碼技術總監，累積 20 年以上系統開發與整合經驗，主導 500+ 專案導入，負責 AIAcVision 影像辨識與 CubeBrain 立方智腦的架構設計、資料治理與上線維運。
技術審閱：壹立方數碼 系統整合團隊（ERP / IoT / POS 系統整合團隊）
發布日期 ・最後實質更新 ・閱讀時間約 8 分鐘
直接回答
評估 AI 影像辨識效果不能只看整體 accuracy，應搭配 precision、recall、F1-score 等指標，並依實際場景權衡漏檢（false negative）與誤報（false positive）造成的不同營運影響。
名詞定義
- Precision（精確率）
- 模型判斷為正例（例如判定為瑕疵）的樣本中，實際確實為正例的比例，反映誤報的多寡。
- Recall（召回率）
- 所有實際為正例的樣本中，被模型正確判斷出來的比例，反映漏檢的多寡。
- IoU（交並比）
- 在物件偵測或分割任務中，預測框與實際標註框重疊區域佔兩者聯集區域的比例，用來衡量定位準確度。
為什麼只看 accuracy 會誤導判斷
當正常樣本遠多於瑕疵樣本時，即使模型把所有瑕疵都判斷成正常，整體 accuracy 數字仍可能很高，因為多數樣本本來就是正常品。這種類別不平衡的情境在瑕疵檢測中相當常見，單看 accuracy 容易讓人誤以為模型表現良好。
因此評估時應改看模型在少數類別（例如瑕疵類別）上的表現，搭配 precision 與 recall 一起檢視，才能反映模型真正的判斷能力。
precision、recall、F1、mAP、IoU 各自解決什麼問題
precision 與 recall 分別對應誤報與漏檢兩種不同的錯誤型態，F1-score 則是兩者的調和平均，用於需要同時兼顾兩者時的綜合參考。
在物件偵測任務中，mAP（mean Average Precision）用來綜合評估模型在不同信心門檻下的偵測表現，IoU 則用來評估偵測框位置的準確程度，兩者搭配使用能更完整地反映偵測型任務的效果。
漏檢與誤報的營運成本通常不對等
漏檢（false negative）代表本應被判定為瑕疵的產品被放行，可能造成後續品質事故或客訴；誤報（false positive）則代表正常品被誤判為瑕疵，會增加人工複檢或報廢的成本。
這兩種錯誤在不同產業與產線的可接受程度不同，多數產線案例會先與品保單位討論並設定可接受的漏檢與誤報上限，再依此調整模型的判斷門檻，而不是單純追求最高的整體準確率。
驗證集分布要貼近產線實際狀況
如果驗證集的瑕疵比例、光線條件或產品型號分布與產線實際狀況差異很大，離線測出的指標就無法反映上線後的真實表現。建議驗證集的抽樣方式盡量模擬產線實際的良率與瑕疵型態比例。
離線指標與現場指標為何會出現落差
離線驗證通常在固定資料集上進行，而現場環境會有取像條件微幅波動、新型態瑕疵出現、產品批次差異等因素，這些都可能造成現場實際表現與離線指標有落差。建議上線初期安排一段時間的人工覆核與現場指標追蹤，逐步確認模型在實際環境下的穩定度。
執行步驟
1確認驗證集分布與產線一致
檢查驗證集的瑕疵比例、產品型號與拍攝條件是否貼近實際產線狀況。
產出：驗證集分布說明
2計算多維度指標
同時計算 precision、recall、F1-score，物件偵測任務再加上 mAP 與 IoU。
產出：指標評估報表
3建立混淆矩陣
以混淆矩陣檢視各類別的誤判分布，找出模型最容易混淆的瑕疵類型。
產出：混淆矩陣圖
4依營運成本設定判斷門檻
與品保或產線單位討論漏檢與誤報的相對成本，調整模型信心門檻。
產出：判斷門檻設定紀錄
5現場試跑並追蹤落差
上線初期安排人工覆核，比對現場實際表現與離線指標的差異。
產出：現場驗證追蹤紀錄
AI 影像辨識常見評估指標比較
| 指標 | 計算意義 | 適用情境 | 注意事項 |
|---|---|---|---|
| Accuracy | 所有樣本中判斷正確的比例 | 類別分布大致平衡時的整體概況參考 | 類別不平衡時容易被多數類別主導，掩蓋少數類別的表現 |
| Precision | 判斷為正例中實際正確的比例 | 誤報成本高的場景，如避免正常品被誤判為瑕疵 | 只看 precision 可能忽略漏檢問題 |
| Recall | 實際正例中被正確找出的比例 | 漏檢成本高的場景，如安全或關鍵品質瑕疵 | 只看 recall 可能造成大量誤報 |
| F1-score | precision 與 recall 的調和平均 | 需同時兼顾誤報與漏檢的綜合參考 | 無法反映兩者何者更重要，仍需依實際成本判斷 |
| mAP | 不同信心門檻下平均精確率的綜合表現 | 物件偵測任務的整體效能比較 | 數值受類別數與資料集設計影響，跨專案比較需謹慎 |
| IoU | 預測框與標註框重疊區域佔聯集的比例 | 評估偵測或分割任務的定位準確度 | 門檻設定會影響判定為「偵測正確」的嚴格程度 |
實際採用門檻與指標組合應依產業法規、品質要求與現場複檢資源共同決定。
常見限制與前提
- 離線指標無法完全反映現場光線、震動等動態因素造成的影響。
- 類別不平衡問題無法單靠指標選擇解決，仍需搭配資料蒐集策略調整。
- mAP 與 IoU 的計算方式在不同工具或框架間可能略有差異，跨系統比較需注意計算基準是否一致。
- 指標門檻的設定涉及品質與成本權衡，需要跨部門共識，非單純技術決策。
ACubeDT 的實務做法
在專案驗收階段，ACubeDT 會與客戶一起確認驗證集是否能反映產線實際的良率與瑕疵分布，避免離線指標與現場表現脫節。
評估報告會同時呈現 precision、recall 與混淆矩陣，並與品保單位討論漏檢與誤報的可接受範圍，據此調整模型判斷門檻，而非僅以單一 accuracy 數字作為驗收依據。
上線初期會建議搭配人工覆核機制，逐步比對現場實際判斷結果與離線評估的落差，並將差異回饋至後續模型調整。
結論
評估 AI 影像辨識效果的重點，不在追求單一最高指標，而在依實際營運場景選擇合適的指標組合並權衡漏檢與誤報的成本。