負責任 AI：公平性與偏差

課程概述

AI 公平性不是把幾個群體的數字調成一樣，就能宣告過關。真正要先問的是：誰會被這套系統影響、判錯會帶來什麼傷害、哪些差異有合理依據，哪些差異則需要處理。這堂課會從這些問題出發，再把資料切片、指標選擇、偏差緩解與上線後監控串成一套可執行的流程。

你將學到

• 說明常見公平指標代表什麼，以及它們為什麼可能互相衝突
• 從資料蒐集一路找出部署回饋可能帶入的偏差
• 依受影響族群、傷害與政策需求，選擇切片和判斷門檻
• 認識 Fairness Indicators、LIT 與舊版 What-If Tool 的適用範圍
• 把偏差緩解、重新評估與生產監控接進發布流程

核心概念

先定義傷害，再挑指標

常見的量化方式包括：統計均等（Statistical Parity），比較各群體收到正面結果的比例；機會均等（Equal Opportunity），比較真正符合條件的人被正確找出的比例；預測均等（Predictive Parity），比較收到正面預測的人實際符合條件的比例。資料的基準率不同時，這些目標往往無法同時成立。

因此，不能只由開發者挑一個最好看的指標。應先跟領域專家、政策或法務人員，以及可能受影響的使用者釐清傷害，再決定要看哪些群體、錯誤類型與門檻。樣本太少的切片也要標出不確定性，免得把隨機波動誤判成公平或不公平。Fairness Indicators 官方指引也強調，量化評估只是整體公平性評估的一部分。

偏差不只出現在訓練資料

資料採樣可能漏掉某些族群，標註規則可能把既有偏見當成事實，郵遞區號等特徵也可能成為敏感屬性的代理變數。到了訓練階段，整體平均表現又可能掩蓋小群體的高錯誤率。即使離線測試通過，上線後的介面、人工覆核方式和使用者回饋，仍可能形成新的偏差迴路。公平性檢查不能只做一次，而要跟資料與產品一起持續更新。

Fairness Indicators 能量測，但不會替你訂政策

Fairness Indicators 可搭配 TensorFlow Model Analysis，依群體與多個分類門檻呈現選擇率、真陽性率、假陽性率等結果。它目前仍標示為 Beta，主要處理二元與多類別分類器，也不會自動告訴你哪個差距在業務或法律上可以接受。團隊可以把報表與自訂門檻接進 CI/CD，但發布條件和例外處理仍要自己定義。

舊教材的 What-If Tool，要怎麼看？

What-If Tool（WIT）曾用互動介面呈現資料點、反事實、切片與分類門檻，很適合用來理解公平性的取捨。不過它的官方程式庫仍以舊版 AI Platform 與 TensorFlow 工作流程為主；LIT 文件也已說明，分析表格資料時可用擴充性更高的 Learning Interpretability Tool 取代 WIT。舊 Lab 若還有 WIT 畫面，可以照著理解概念；新專案則先評估 LIT、Fairness Indicators 或自己維護的評估報表。

生成式 AI 的公平性怎麼測？

生成式 AI 沒有固定答案，不能只沿用分類器的一個比率。可以準備只替換姓名、性別、年齡、族群、方言或地區描述的成對案例，比較內容品質、拒答率、刻板印象與安全誤擋，再依交叉族群切片。自動評審能擴大覆蓋，但高風險案例仍要由熟悉在地語境的人審查；尤其繁體中文、台灣用語和少數方言，不該只靠英文測試結果推論。

實作重點

• 先寫出受影響族群、主要傷害與不能接受的錯誤，再選公平性指標
• 針對性別、年齡等屬性及其交叉切片，比較選擇率、真陽性率和假陽性率
• 替每個切片附上樣本數或信賴區間，避免對小樣本下過度肯定的結論
• 分別嘗試重新採樣、訓練約束、門檻與人工覆核，並記錄每種做法的副作用
• 用成對 Prompt 與在地語言案例檢查生成式 AI，再由人工覆核具爭議的結果

Lab 導讀

Lab 連結：Responsible AI for Developers: Fairness & Bias — Google Cloud Skills Boost

這個 Lab 可能仍使用 What-If Tool 與舊版介面。操作時把重點放在切片、門檻和指標取捨，不必把舊工具名稱當成新專案的固定選擇。每次調整後都記下哪些群體受益、哪些群體承擔更多錯誤；這份決策紀錄，通常比單張報表更有價值。

延伸學習

• 負責任 AI：可解釋性與透明度 — 讓偏差的來源可被理解
• 負責任 AI：隱私與安全 — 公平性之外的另一個 Responsible AI 面向
• Google Cloud AI 負責任原則實踐 — 回顧 Responsible AI 的整體框架