久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

2015年，一名憂心忡忡的父親問了Rhema Vaithianathan一個問題，這個問題至今依然縈繞在她的記憶里。當(dāng)時，一小群人聚集在美國賓夕法尼亞州匹茲堡的一個地下室內(nèi)，聽她講軟件如何解決虐待兒童的問題。該區(qū)域的熱線每一天都會接聽到數(shù)十個電話，指稱懷疑有兒童處于危險中；其中一些電話被呼叫中心的工作人員標(biāo)記為要調(diào)查的對象。但該系統(tǒng)并不能發(fā)現(xiàn)所有虐待兒童的案例。Vaithianathan和同事剛剛獲得了一份50萬美元的合同，以創(chuàng)建幫助解決這個問題的算法。

新西蘭奧克蘭理工大學(xué)社會數(shù)據(jù)分析中心聯(lián)席主管、健康經(jīng)濟(jì)學(xué)家Vaithianathan告訴聽眾，該算法會如何工作。例如，一個包括家庭背景和犯罪記錄的經(jīng)過大量數(shù)據(jù)訓(xùn)練的工具，可以在來電時產(chǎn)生風(fēng)險分?jǐn)?shù)。這或有助于讓篩選人員對應(yīng)該調(diào)查哪些家庭作出標(biāo)記。

在Vaithianathan請聽眾提問后，這位父親站起來發(fā)言。他說自己曾與毒癮作斗爭，過去社會工作者曾把他的孩子從家里帶走。但他已經(jīng)有很長時間不再吸毒。如果用一臺電腦評估他的檔案，他為改變自己的生活所作的努力會毫無意義嗎？換句話說：算法會不公平地評判他嗎？

Vaithianathan向他保證，會有人一直參與其中，所以他的努力不會被忽視。但現(xiàn)在自動化工具已經(jīng)部署完畢，她仍在考慮這位父親的問題。 計算機算法越來越多地被用于指導(dǎo)可能改變生活的決定，包括在被指控犯罪后拘留哪些人，應(yīng)該調(diào)查哪些家庭潛在的虐待兒童問題，以及被稱為“預(yù)測性警務(wù)”的趨勢，如警察應(yīng)該關(guān)注哪些社區(qū)。這些工具被認(rèn)為可以讓決策更加一致、準(zhǔn)確和嚴(yán)謹(jǐn)。但2016年，美國記者稱，一個用于評估未來犯罪活動風(fēng)險的系統(tǒng)會歧視黑人被告。其潛在不公平性正在引起警惕。且監(jiān)管是有限的：沒有人知道該類工具有多少正在被使用。

公平交易

2016年5月，美國新聞網(wǎng)站ProPublica的記者報道了佛羅里達(dá)州布勞沃德縣的法官使用商業(yè)軟件，幫助決定被指控犯罪的人在審判前是否應(yīng)該從監(jiān)獄中釋放出來。記者報道稱，該軟件對黑人被告存在偏見。這個名為COMPAS的工具產(chǎn)生的分?jǐn)?shù)旨在衡量一個人釋放后在兩年內(nèi)再次犯罪的可能性。

ProPublica團(tuán)隊調(diào)查了數(shù)千名被告的COMPAS分?jǐn)?shù)，這些是他們通過公共記錄請求獲得的。對比黑人和白人被告后，記者發(fā)現(xiàn)一定比例的黑人被告是“假陽性”：他們被COMPAS列為高風(fēng)險，但隨后未被指控另一項罪行。

該算法的開發(fā)者是密歇根州的一家名為Northpointe（即現(xiàn)在俄亥俄州坎頓市的Equivant）的公司。該公司稱，COMPAS還擅長預(yù)測被列為高風(fēng)險的白人或黑人被告是否會再次犯罪。匹茲堡卡內(nèi)基梅隆大學(xué)統(tǒng)計學(xué)家Alexandra Chouldechova很快發(fā)現(xiàn)Northpointe與ProPublica衡量公平的標(biāo)準(zhǔn)存在沖突。預(yù)測奇偶性、相同的假陽性錯誤率和相同的假陰性錯誤率都是達(dá)到“公平”的方式，但如果兩個群體之間存在差異，那么在統(tǒng)計上就是不可能調(diào)和的，比如白人和黑人再次被捕的比率。“你不可能兼而有之。如果你想在一個方面做到公平，那么在另一種聽起來合理的定義下，你必然是不公平的。”英國倫敦大學(xué)學(xué)院負(fù)責(zé)機器學(xué)習(xí)的研究人員Michael Veale說。

實際上，從數(shù)學(xué)角度看，對公平的定義還有更多的方式：在今年2月的一次會議上，計算機科學(xué)家Arvind Narayanan作了一場題為《21個公平定義及其政治性》的報告，他指出，還有其他定義公平的方式。包括Chouldechova在內(nèi)的一些研究人員對ProPublica案例進(jìn)行了研究，他們表示尚不清楚不平等的錯誤率是否表明存在偏見。斯坦福大學(xué)計算機科學(xué)家Sharad Goel說，它們反映了一個事實，即一個群體比另一個群體更難預(yù)測。“事實證明，它或多或少是一種統(tǒng)計學(xué)上的人為現(xiàn)象。”

雖然統(tǒng)計上的不平衡是一個問題，但算法中潛藏著更深層次的不公平，而且它們可能會加劇社會不公。例如，COMPAS之類的算法可能會聲稱，它們可以預(yù)測未來犯罪活動的可能性，但它只能依賴可測量的代表，比如被捕。而警務(wù)實踐的變化意味著一些社區(qū)可能不相稱地被列為攻擊目標(biāo)，人們可能會因為在其他社區(qū)可以被忽視的罪行而被捕。“即使我們準(zhǔn)確地預(yù)測了一些事情，準(zhǔn)確預(yù)測的事情也可能是強加的不公正。”華盛頓特區(qū)非營利性社會正義組織Upturn的行政主任David Robinson說。很多時候它會取決于法官在多大程度上依賴這種算法作出決定，而人們對此知之甚少。

透明度與局限性

盡管一些機構(gòu)建立了自己的工具或是使用商業(yè)軟件，但學(xué)術(shù)界發(fā)現(xiàn)自己依然對公共部門的算法有需求。人們對提高透明度的要求很高。紐約大學(xué)人工智能社會影響研究中心“現(xiàn)在AI研究所”共同創(chuàng)始人Kate Crawford說，當(dāng)算法是“封閉的環(huán)，不允許算法檢查、評估或公開辯論”時，通常會加劇問題。但目前尚不清楚如何才能讓算法更加開放。伊利諾伊州芝加哥大學(xué)數(shù)據(jù)科學(xué)和公共政策中心主任Rayid Ghani說，僅僅公布一個模型的所有參數(shù)并不能提供它如何運作的更多信息。透明度還可能與保護(hù)隱私相沖突。在某些情況下，披露太多關(guān)于算法如何運行的信息可能會讓人們挑戰(zhàn)該系統(tǒng)。

Goel說，問責(zé)制面臨的一大障礙是，各機構(gòu)往往會不收集有關(guān)工具的使用情況或表現(xiàn)的相關(guān)數(shù)據(jù)。“很多時候沒有透明度，因為沒有什么可分享的。”例如，加州立法機構(gòu)有一項草案呼吁使用風(fēng)險評估工具，以幫助減少被告支付保釋金的頻率，這種做法因存在處罰低收入被告的情況而受到批評。Goel希望該法案強制規(guī)定，在法官與該工具存在異議的情況下，收集每個案件的具體細(xì)節(jié)（包括結(jié)果）等信息。他說：“我們的目標(biāo)是在維護(hù)公共安全的同時，從根本上減少監(jiān)禁，所以我們必須知道這樣做是否有效。”

許多人希望法律能夠推動這些目標(biāo)。紐約伊薩卡康奈爾大學(xué)人工智能倫理和政策問題研究員Solon Barocas說，這是有先例的。在美國，一些消費者保護(hù)規(guī)定允許公民在對其信用作出不利判決時作出解釋。Veale說，在法國，早在20世紀(jì)70年代就有立法賦予公民解釋的權(quán)利以及對自動決策提出異議的能力。

最大的考驗將是5月25日生效的歐洲《通用數(shù)據(jù)保護(hù)條例》（GDPR）。一些條款似乎促進(jìn)了算法問責(zé)制。但英國牛津互聯(lián)網(wǎng)研究所數(shù)據(jù)倫理學(xué)家Brent Mittelstadt表示，GDPR實際上可能會為那些希望評估公平的人設(shè)立一個“法律雷區(qū)”，從而阻礙它的發(fā)展。測試一種算法是否在某些方面存在偏差的最佳方法需要了解進(jìn)入系統(tǒng)的人員的相關(guān)屬性，例如它是否會傾向于一個種族而非另一個。

審計算式

與此同時，研究人員正在推進(jìn)尚未公開接受公眾監(jiān)督的算法偏差的策略檢測。Barocas說，企業(yè)可能不愿討論它們?nèi)绾谓鉀Q公平的問題，因為這意味著它們要承認(rèn)一開始就存在問題。他說，即使它們這樣做了，其行動只可能改善但不會消除偏見。“因此，任何有關(guān)這一問題的公開聲明，都不可避免地承認(rèn)問題依然存在。”最近幾個月，微軟和臉譜網(wǎng)都宣布開發(fā)檢測偏見的工具。

一些研究人員已經(jīng)開始呼吁在刑事司法應(yīng)用和其他領(lǐng)域后退一步，不再局限于建立預(yù)測性的算法。例如，一個工具或可很好地預(yù)測誰不會出庭。但最好應(yīng)該問人們?yōu)槭裁床怀鐾ィ蛟S還可以設(shè)計出一些干預(yù)措施，比如短信提醒或交通援助，這些措施可能會提高人們的出庭率。“這些工具通常可幫助我們修補邊緣問題，但我們需要的是徹底改變。”民權(quán)律師、紐約大學(xué)法學(xué)院種族正義倡導(dǎo)者Vincent Southerland說。他表示，這也就是說，圍繞算法的激烈辯論“迫使我們所有人去詢問并回答關(guān)于我們所使用的系統(tǒng)及其運作方式的真正棘手的基本問題”。

Vaithianathan看到了構(gòu)建更好算法的價值，即使它們嵌入的總體系統(tǒng)是有缺陷的。“也就是說，算法不能被直升機空投到這些復(fù)雜的系統(tǒng)中。”她說，“它們必須在了解更廣泛背景的人的幫助下運行。”但即便是最好的算法也會面臨挑戰(zhàn)，因此在缺乏直接答案和完美解決方案的情況下，透明度是最好的策略。“我總是說，如果你不可能是對的，那就誠實點。”（晉楠編譯）

摘自《中國科學(xué)報》