您當前的位置： 首頁 > 資訊頻道 > 新聞資訊 > 如何解決人工智能的偏見問題？

如何解決人工智能的偏見問題？

作者：編輯：來源：發布日期： 2021.10.29

信息摘要：

如何解決人工智能的偏見問題？人工智能技術的新進展為企業提供了更多改進業務的機會，但同時它們也具有內在偏見的風險。

無論人們認為自己的文化、社會或環境意識有多強，偏見通常是每個人與生俱來的特質。人們很自然地被那些能證實自己信念的事實所吸引。例如，大多數人認為年輕人會比年長的同事更好地完成某些任務，反之亦然。很多研究表明，相貌良好的求職者比相貌普通的求職者更容易被錄用。這樣的例子不勝枚舉。

作為人類，不能自信地說自己的決策是沒有偏見的。這個問題的根本原因是偏見在不知不覺中滋生和蔓延，使人們無法判斷自己所做的決定是否存在偏見。

這就是有偏見的人工智能算法的概念不應該令人驚訝的原因，因為人工智能系統的全部意義就是復制人類的決策模式。為了構建一個功能性的人工智能系統，開發人員用大量解決特定問題的真實例子進行訓練。

例如，為了構建一個可以幫助分類求職申請的人工智能系統，開發工程師會向算法展示許多被錄用和被拒絕的簡歷。然后人工智能系統將找出影響決策的主要因素，開發者將測試系統的準確性并進行部署它。在這個簡單的例子中會出現兩個問題：一是人力資源專家的決策一開始就存在偏見，二是訓練數據集可能不代表特定的性別、年齡、種族等數據。例如，從歷史上看，一家企業可能在無意中只雇傭男性應聘者擔任前臺開發人員，這導致人工智能將女性應聘者排除在外，甚至不給她們面試的機會。這就引出了消除人工智能偏見的第一種方法。

1.數據公平

人工智能在克服許多挑戰方面發揮了重要作用。然而，人工智能系統采用的數據必須結構良好，并且盡可能不帶偏見。

在大多數情況下，人工智能出現偏見的最主要原因在于訓練數據，尤其是對于缺乏經驗的開發人員或小公司來說。獲得一個足夠多樣化的數據集，需要將每個人口統計或任何其他關鍵屬性考慮在內，這是數據科學家夢寐以求的事情。這就是企業在開發人工智能時應該盡力消除訓練數據中的偏見的原因，并在開發過程的每個階段都考慮到這一點。

艾倫·圖靈研究所介紹了一種方法，旨在揭示數據集問題。例如，一家企業雇傭使用人工智能系統的前端開發人員。在這種情況下，為了確保算法是公平的，開發人員需要進行一個簡單的測試，讓人工智能系統評估兩個擁有相同技能和經驗的應聘者，唯一的區別是性別或其他非必要的變量。公正的人工智能系統將會給這兩名應聘者相同的評分，而不公正的人工智能會給男性應聘者打出更高的分數，這表明該系統需要做出調整。

該研究所制定了一套指導方針，以幫助人工智能開發者確保模型的公平性。這些舉措將在解決人工智能的偏見問題方面發揮越來越重要的作用。

2.對抗性學習

除了有缺陷的數據集，在模型學習階段也會出現偏見。為了應對這種情況，許多開發人員現在采用了對抗性學習方法。這意味著除了采用主模型(例如對應用程序進行排序的模型)之外，還需要采用另一個模型，該模型試圖根據主模型的結果找出敏感變量(年齡、性別、種族等)。如果主模型是無偏置的，對抗性模型將無法確定敏感屬性。數據科學家認為這種技術是最有效、最容易使用的方法之一，因為與傳統的重新權衡方法不同，對抗性學習可以應用于大多數建模方法。

3.基于拒絕選項的分類

最后，還有一些后處理技術可以幫助消除偏見。這種方法的吸引力在于，工程師和數據科學家不需要為調整模型或更改數據集而煩惱，因為只需要修改模型輸出即可。

拒絕基于選項的分類是最流行的后處理技術之一。本質上，通過拒絕模型最不可信的預測來減少偏差。例如，可以將置信閾值設置為0.4。如果預測確定性為0.39或更低，人工智能系統將標記輸出為具有偏見。

4.團隊的多樣性

在人工智能領域的導航更多地依賴于對業務環境的理解，而不是人們通常認為的那樣。毫無疑問，數據科學與數據處理密切相關，但了解這些數據背后的內容也同樣重要。即便如此，數據科學家無意識的偏見在影響他們的算法方面也發揮了關鍵作用。這就是消除人工智能中的偏見往往與雇用不同種族、性別和背景的人員密切相關的原因。

為了使招聘更加公平合理，企業需要采用更客觀的面試技巧。尤其是在大企業，很多面試都局限于傳統的簡歷篩選。有遠見和創新精神的企業需要將現實世界的基于項目的數據分析作為他們面試過程的核心部分。他們不僅會評估應聘者在數據分析方面的科學表現，還會確保他們能夠在商業環境中解釋研究結果。