您當(dāng)前的位置： 首頁 > 資訊頻道 > 新聞資訊 > 如何解決人工智能的偏見問題？

如何解決人工智能的偏見問題？

作者：編輯：來源：發(fā)布日期： 2021.10.29

信息摘要：

如何解決人工智能的偏見問題？人工智能技術(shù)的新進(jìn)展為企業(yè)提供了更多改進(jìn)業(yè)務(wù)的機會，但同時它們也具有內(nèi)在偏見的風(fēng)險。

無論人們認(rèn)為自己的文化、社會或環(huán)境意識有多強，偏見通常是每個人與生俱來的特質(zhì)。人們很自然地被那些能證實自己信念的事實所吸引。例如，大多數(shù)人認(rèn)為年輕人會比年長的同事更好地完成某些任務(wù)，反之亦然。很多研究表明，相貌良好的求職者比相貌普通的求職者更容易被錄用。這樣的例子不勝枚舉。

作為人類，不能自信地說自己的決策是沒有偏見的。這個問題的根本原因是偏見在不知不覺中滋生和蔓延，使人們無法判斷自己所做的決定是否存在偏見。

這就是有偏見的人工智能算法的概念不應(yīng)該令人驚訝的原因，因為人工智能系統(tǒng)的全部意義就是復(fù)制人類的決策模式。為了構(gòu)建一個功能性的人工智能系統(tǒng)，開發(fā)人員用大量解決特定問題的真實例子進(jìn)行訓(xùn)練。

例如，為了構(gòu)建一個可以幫助分類求職申請的人工智能系統(tǒng)，開發(fā)工程師會向算法展示許多被錄用和被拒絕的簡歷。然后人工智能系統(tǒng)將找出影響決策的主要因素，開發(fā)者將測試系統(tǒng)的準(zhǔn)確性并進(jìn)行部署它。在這個簡單的例子中會出現(xiàn)兩個問題：一是人力資源專家的決策一開始就存在偏見，二是訓(xùn)練數(shù)據(jù)集可能不代表特定的性別、年齡、種族等數(shù)據(jù)。例如，從歷史上看，一家企業(yè)可能在無意中只雇傭男性應(yīng)聘者擔(dān)任前臺開發(fā)人員，這導(dǎo)致人工智能將女性應(yīng)聘者排除在外，甚至不給她們面試的機會。這就引出了消除人工智能偏見的第一種方法。

1.數(shù)據(jù)公平

人工智能在克服許多挑戰(zhàn)方面發(fā)揮了重要作用。然而，人工智能系統(tǒng)采用的數(shù)據(jù)必須結(jié)構(gòu)良好，并且盡可能不帶偏見。

在大多數(shù)情況下，人工智能出現(xiàn)偏見的最主要原因在于訓(xùn)練數(shù)據(jù)，尤其是對于缺乏經(jīng)驗的開發(fā)人員或小公司來說。獲得一個足夠多樣化的數(shù)據(jù)集，需要將每個人口統(tǒng)計或任何其他關(guān)鍵屬性考慮在內(nèi)，這是數(shù)據(jù)科學(xué)家夢寐以求的事情。這就是企業(yè)在開發(fā)人工智能時應(yīng)該盡力消除訓(xùn)練數(shù)據(jù)中的偏見的原因，并在開發(fā)過程的每個階段都考慮到這一點。

艾倫·圖靈研究所介紹了一種方法，旨在揭示數(shù)據(jù)集問題。例如，一家企業(yè)雇傭使用人工智能系統(tǒng)的前端開發(fā)人員。在這種情況下，為了確保算法是公平的，開發(fā)人員需要進(jìn)行一個簡單的測試，讓人工智能系統(tǒng)評估兩個擁有相同技能和經(jīng)驗的應(yīng)聘者，唯一的區(qū)別是性別或其他非必要的變量。公正的人工智能系統(tǒng)將會給這兩名應(yīng)聘者相同的評分，而不公正的人工智能會給男性應(yīng)聘者打出更高的分?jǐn)?shù)，這表明該系統(tǒng)需要做出調(diào)整。

該研究所制定了一套指導(dǎo)方針，以幫助人工智能開發(fā)者確保模型的公平性。這些舉措將在解決人工智能的偏見問題方面發(fā)揮越來越重要的作用。

2.對抗性學(xué)習(xí)

除了有缺陷的數(shù)據(jù)集，在模型學(xué)習(xí)階段也會出現(xiàn)偏見。為了應(yīng)對這種情況，許多開發(fā)人員現(xiàn)在采用了對抗性學(xué)習(xí)方法。這意味著除了采用主模型(例如對應(yīng)用程序進(jìn)行排序的模型)之外，還需要采用另一個模型，該模型試圖根據(jù)主模型的結(jié)果找出敏感變量(年齡、性別、種族等)。如果主模型是無偏置的，對抗性模型將無法確定敏感屬性。數(shù)據(jù)科學(xué)家認(rèn)為這種技術(shù)是最有效、最容易使用的方法之一，因為與傳統(tǒng)的重新權(quán)衡方法不同，對抗性學(xué)習(xí)可以應(yīng)用于大多數(shù)建模方法。

3.基于拒絕選項的分類

最后，還有一些后處理技術(shù)可以幫助消除偏見。這種方法的吸引力在于，工程師和數(shù)據(jù)科學(xué)家不需要為調(diào)整模型或更改數(shù)據(jù)集而煩惱，因為只需要修改模型輸出即可。

拒絕基于選項的分類是最流行的后處理技術(shù)之一。本質(zhì)上，通過拒絕模型最不可信的預(yù)測來減少偏差。例如，可以將置信閾值設(shè)置為0.4。如果預(yù)測確定性為0.39或更低，人工智能系統(tǒng)將標(biāo)記輸出為具有偏見。

4.團隊的多樣性

在人工智能領(lǐng)域的導(dǎo)航更多地依賴于對業(yè)務(wù)環(huán)境的理解，而不是人們通常認(rèn)為的那樣。毫無疑問，數(shù)據(jù)科學(xué)與數(shù)據(jù)處理密切相關(guān)，但了解這些數(shù)據(jù)背后的內(nèi)容也同樣重要。即便如此，數(shù)據(jù)科學(xué)家無意識的偏見在影響他們的算法方面也發(fā)揮了關(guān)鍵作用。這就是消除人工智能中的偏見往往與雇用不同種族、性別和背景的人員密切相關(guān)的原因。

為了使招聘更加公平合理，企業(yè)需要采用更客觀的面試技巧。尤其是在大企業(yè)，很多面試都局限于傳統(tǒng)的簡歷篩選。有遠(yuǎn)見和創(chuàng)新精神的企業(yè)需要將現(xiàn)實世界的基于項目的數(shù)據(jù)分析作為他們面試過程的核心部分。他們不僅會評估應(yīng)聘者在數(shù)據(jù)分析方面的科學(xué)表現(xiàn)，還會確保他們能夠在商業(yè)環(huán)境中解釋研究結(jié)果。