2017年，《經(jīng)濟(jì)學(xué)人》宣稱(chēng)數(shù)據(jù)已取代石油成為世界上最有價(jià)值的資源，這一說(shuō)法自此一直被重復(fù)?？缭礁鱾€(gè)行業(yè)的企業(yè)一直在投資數(shù)據(jù)和分析，并將持續(xù)大舉投資，但就像石油一樣，數(shù)據(jù)和分析也有其陰暗面。

根據(jù)《CIO》雜志2023年的《CIO狀態(tài)報(bào)告》，26%的IT領(lǐng)導(dǎo)者表示機(jī)器學(xué)習(xí)(ML)和AI將推動(dòng)最多的IT投資。雖然由ML算法驅(qū)動(dòng)的行為可以給組織帶來(lái)競(jìng)爭(zhēng)優(yōu)勢(shì)，但錯(cuò)誤可能在聲譽(yù)、收入甚至生命方面造成高昂的代價(jià)。

理解你的數(shù)據(jù)及其所傳達(dá)的信息很重要，但同樣重要的是了解你的工具，了解你的數(shù)據(jù)，并始終牢記組織的價(jià)值觀。

以下是過(guò)去十年中一些引人注意的AI失誤，揭示了可能出現(xiàn)的問(wèn)題。

加拿大航空因聊天機(jī)器人的錯(cuò)誤信息支付賠償金

2024年2月，加拿大航空被命令向一名乘客支付賠償金，因?yàn)槠涮摂M助手在特別困難的時(shí)期給了他錯(cuò)誤的信息。

杰克·莫法特在2023年11月祖母去世后，咨詢(xún)了加拿大航空的虛擬助手關(guān)于喪親票價(jià)的信息。聊天機(jī)器人告訴他，他可以以常規(guī)價(jià)格購(gòu)買(mǎi)從溫哥華到多倫多的機(jī)票，并在購(gòu)買(mǎi)后90天內(nèi)申請(qǐng)喪親折扣。遵循這一建議，莫法特購(gòu)買(mǎi)了一張單程794.98加元的多倫多機(jī)票和845.38加元的返回溫哥華的機(jī)票。

但是當(dāng)莫法特提交退款申請(qǐng)時(shí)，航空公司拒絕了他的請(qǐng)求，聲稱(chēng)喪親票價(jià)不能在購(gòu)票后申請(qǐng)。

莫法特隨后將加拿大航空告到加拿大的一個(gè)仲裁庭，聲稱(chēng)航空公司疏忽并通過(guò)其虛擬助手誤傳了信息。根據(jù)仲裁委員克里斯托弗·里弗斯的說(shuō)法，加拿大航空辯稱(chēng)不能為其聊天機(jī)器人提供的信息承擔(dān)責(zé)任。

里弗斯駁回了這一論點(diǎn)，指出航空公司沒(méi)有“采取合理的注意確保其聊天機(jī)器人的準(zhǔn)確性”，因此他命令航空公司支付給莫法特812.02加元，其中包括650.88加元的損害賠償。

《體育畫(huà)報(bào)》可能發(fā)表了虛假作者的文章

2023年11月，在線雜志《未來(lái)主義》表示，《體育畫(huà)報(bào)》正在發(fā)表由AI生成的作者撰寫(xiě)的文章。

《未來(lái)主義》援引匿名消息來(lái)源稱(chēng)，涉及內(nèi)容創(chuàng)建，還指出這家著名體育雜志發(fā)表了“很多”虛假作者的文章，一些在這些虛假作者名下的文章也是由AI生成的。

這家在線雜志發(fā)現(xiàn)，相關(guān)作者的頭像在一個(gè)銷(xiāo)售AI生成肖像的網(wǎng)站上有列出?！段磥?lái)主義》隨后聯(lián)系了《體育畫(huà)報(bào)》的出版商Arena Group，后者在一份聲明中說(shuō)，相關(guān)文章是來(lái)自第三方AdVon Commerce的授權(quán)內(nèi)容。

“我們持續(xù)監(jiān)控我們的合作伙伴，并且在這些指控提出時(shí)正在進(jìn)行審核，”Arena Group在提供給《未來(lái)主義》的聲明中說(shuō)。“AdVon向我們保證，所有涉及的文章均由人類(lèi)撰寫(xiě)和編輯。”

聲明還提到，AdVon的作者在某些文章中使用筆名或化名，同時(shí)指出Arena Group不認(rèn)同這些行為。隨后，Arena Group從《體育畫(huà)報(bào)》網(wǎng)站上撤下了有問(wèn)題的文章。

針對(duì)《未來(lái)主義》的報(bào)道，體育畫(huà)報(bào)工會(huì)發(fā)表聲明表示對(duì)這些指控感到震驚，并要求Arena Group管理層給出答案和透明度。

“如果這些做法屬實(shí)，它們違反了我們對(duì)新聞業(yè)的所有信仰，”體育畫(huà)報(bào)工會(huì)在聲明中說(shuō)。“我們對(duì)與如此不尊重我們讀者的事情相關(guān)聯(lián)感到厭惡。”

甘內(nèi)特公司的AI在高中體育文章中出錯(cuò)

2023年8月，新聞集團(tuán)甘尼特宣布將暫停使用一種名為L(zhǎng)edeAI的AI工具，此前由該AI撰寫(xiě)的幾篇報(bào)道因重復(fù)、寫(xiě)作質(zhì)量差且缺乏關(guān)鍵細(xì)節(jié)而在網(wǎng)絡(luò)上走紅。

CNN指出了一個(gè)例子，被互聯(lián)網(wǎng)檔案館的Wayback Machine保存下來(lái)，文章開(kāi)頭寫(xiě)道：“沃辛頓基督教[[WINNING_TEAM_MASCOT]]在周六的俄亥俄州男子足球比賽中以2-1擊敗了韋斯特維爾北部[[LOSING_TEAM_MASCOT]]。”

CNN還發(fā)現(xiàn)LedeAI為甘尼特旗下其他地方性報(bào)紙撰寫(xiě)了類(lèi)似的故事，包括路易斯維爾信使日?qǐng)?bào)、亞利桑那中央、佛羅里達(dá)今日以及密爾沃基日?qǐng)?bào)哨兵報(bào)。

在這些故事在社交媒體上被廣泛嘲笑后，甘尼特選擇在所有使用該服務(wù)的地方市場(chǎng)暫停使用LedeAI。

在給CNN的一份聲明中，LedeAI的首席執(zhí)行官Jay Allred表示遺憾，并承諾全天候努力糾正問(wèn)題。

iTutor Group 的招聘 AI 會(huì)因年齡原因拒絕應(yīng)聘者

在2023年8月，輔導(dǎo)公司iTutor Group同意支付365,000美元，以解決由美國(guó)平等就業(yè)機(jī)會(huì)委員會(huì)(EEOC)提起的訴訟。聯(lián)邦機(jī)構(gòu)指出，這家為中國(guó)學(xué)生提供遠(yuǎn)程輔導(dǎo)服務(wù)的公司使用了AI驅(qū)動(dòng)的招聘軟件，該軟件自動(dòng)拒絕了55歲及以上的女性申請(qǐng)者以及60歲及以上的男性申請(qǐng)者。

EEOC表示，有超過(guò)200名合格的申請(qǐng)者被軟件自動(dòng)拒絕。

EEOC主席Charlotte A. Burrows在一份聲明中表示：“年齡歧視是不公正且非法的。即使技術(shù)自動(dòng)化了歧視，雇主仍然要負(fù)責(zé)。”

iTutor Group否認(rèn)任何不當(dāng)行為，但決定和解此案。作為和解和同意令的一部分，它同意采納新的反歧視政策。

ChatGPT虛構(gòu)法庭案件

2023年大型語(yǔ)言模型(LLMs)的進(jìn)步引發(fā)了對(duì)生成性AI在幾乎所有行業(yè)變革潛力的廣泛興趣。OpenAI的ChatGPT處于這一興趣高漲的中心，預(yù)示著生成AI如何具有在商業(yè)的幾乎每個(gè)角落中顛覆工作性質(zhì)的能力。

但這項(xiàng)技術(shù)在能夠可靠地接管大部分業(yè)務(wù)流程之前還有很長(zhǎng)的路要走，正如律師Steven A. Schwartz在2023年遭遇美國(guó)地區(qū)法官P. Kevin Castel的困境時(shí)發(fā)現(xiàn)的那樣，當(dāng)時(shí)他使用ChatGPT來(lái)研究針對(duì)哥倫比亞航空公司Avianca的訴訟中的先例。

施瓦茨律師在Levidow, Levidow & Oberman律師事務(wù)所使用OpenAI生成的AI聊天機(jī)器人來(lái)尋找先前的案例，以支持Avianca員工Roberto Mata因2019年受傷而提起的訴訟。問(wèn)題在于?提交給法庭的至少六個(gè)案例并不存在。在5月提交的文件中，Castel法官指出施瓦茨提交的案例包括虛假的名稱(chēng)和案件編號(hào)，以及偽造的內(nèi)部引用和引述。施瓦茨的合伙人Peter LoDuca是Mata的案件律師，并且簽署了訴狀，這也使他自己陷入了危險(xiǎn)之中。

在一份宣誓書(shū)中，施瓦茨告訴法庭這是他第一次使用ChatGPT作為法律研究來(lái)源，并“沒(méi)有意識(shí)到其內(nèi)容可能是虛假的”。他承認(rèn)沒(méi)有確認(rèn)AI聊天機(jī)器人提供的來(lái)源。他還表示，“非常后悔在此次法律研究中使用了生成式AI，將來(lái)在沒(méi)有絕對(duì)驗(yàn)證其真實(shí)性之前，絕不再使用。”

2023年6月，Castel法官對(duì)施瓦茨和LoDuca各處以5000美元罰款。在6月的另一項(xiàng)裁決中，Castel法官駁回了Mata對(duì)Avianca的訴訟。

AI算法識(shí)別一切 除了COVID-19之外

自2020年COVID-19大流行開(kāi)始以來(lái)，許多組織試圖應(yīng)用機(jī)器學(xué)習(xí)算法幫助醫(yī)院更快地診斷或分流病人。但據(jù)英國(guó)圖靈研究所——一個(gè)國(guó)家級(jí)的數(shù)據(jù)科學(xué)和AI中心稱(chēng)，這些預(yù)測(cè)工具幾乎沒(méi)有幫助。

《麻省理工科技評(píng)論》記錄了多起失敗案例，這些失敗大多是由于工具的訓(xùn)練或測(cè)試方式出錯(cuò)所致。使用標(biāo)簽錯(cuò)誤的數(shù)據(jù)或來(lái)源不明的數(shù)據(jù)是常見(jiàn)的原因。

德里克·德里格斯(Derek Driggs)是劍橋大學(xué)的機(jī)器學(xué)習(xí)研究員，他與同事們?cè)凇蹲匀粰C(jī)器智能》雜志上發(fā)表了一篇論文，探討了深度學(xué)習(xí)模型在診斷該病毒方面的應(yīng)用。這篇論文確定了這種技術(shù)不適合臨床使用。例如，德里格斯的團(tuán)隊(duì)發(fā)現(xiàn)他們自己的模型存在缺陷，因?yàn)樗歉鶕?jù)包括躺著和站立掃描的病人的數(shù)據(jù)集來(lái)訓(xùn)練的。躺著的病人更有可能?chē)?yán)重患病，因此算法學(xué)會(huì)了根據(jù)掃描中人的位置來(lái)識(shí)別COVID風(fēng)險(xiǎn)。

類(lèi)似的例子還包括一個(gè)訓(xùn)練數(shù)據(jù)集包括健康兒童的胸部掃描的算法。該算法學(xué)會(huì)了識(shí)別兒童，而不是高風(fēng)險(xiǎn)病人。

Zillow因算法購(gòu)房災(zāi)難虧損數(shù)百萬(wàn)，大幅裁員

2021年11月，線上房地產(chǎn)市場(chǎng)Zillow對(duì)股東表示，將關(guān)閉其Zillow Offers業(yè)務(wù)，并在未來(lái)幾個(gè)季度內(nèi)裁減公司25%的員工——約2000名員工。房屋翻轉(zhuǎn)部門(mén)的困境是由于其用來(lái)預(yù)測(cè)房?jī)r(jià)的ML算法的錯(cuò)誤率所致。

Zillow Offers是一個(gè)程序，通過(guò)該程序，公司根據(jù)從ML算法派生的房屋價(jià)值“Zestimate”對(duì)房產(chǎn)進(jìn)行現(xiàn)金報(bào)價(jià)。該想法是翻新這些房產(chǎn)并快速轉(zhuǎn)手出售。但Zillow的一位發(fā)言人告訴CNN，該算法的中位數(shù)錯(cuò)誤率為1.9%，對(duì)于非市場(chǎng)房屋，錯(cuò)誤率高達(dá)6.9%。

CNN報(bào)道稱(chēng)，自2018年4月Zillow Offers推出以來(lái)，Zillow通過(guò)該程序購(gòu)買(mǎi)了27,000套房屋，但截至2021年9月底只賣(mài)出了17,000套。COVID-19大流行和家庭裝修勞動(dòng)力短缺等“黑天鵝”事件加劇了算法的準(zhǔn)確性問(wèn)題。

Zillow 承認(rèn)該算法導(dǎo)致其無(wú)意中以高于未來(lái)預(yù)估售價(jià)的價(jià)格購(gòu)買(mǎi)了房屋，從而導(dǎo)致2021年第三季度賬面價(jià)值減記3.04億美元。

在宣布后與投資者的電話會(huì)議中，Zillow聯(lián)合創(chuàng)始人兼首席執(zhí)行官Rich Barton表示，可能可以調(diào)整算法，但最終風(fēng)險(xiǎn)過(guò)大。

醫(yī)療算法未能標(biāo)記出黑人患者

2019年，《科學(xué)》雜志發(fā)表的一項(xiàng)研究揭示，一種被全美各地醫(yī)院和保險(xiǎn)公司用來(lái)識(shí)別需要“高風(fēng)險(xiǎn)護(hù)理管理”項(xiàng)目的病人的醫(yī)療預(yù)測(cè)算法，不太可能標(biāo)記出黑人病人。

高風(fēng)險(xiǎn)護(hù)理管理計(jì)劃為慢性病患者提供訓(xùn)練有素的護(hù)理人員和初級(jí)保健監(jiān)控，以防止嚴(yán)重并發(fā)癥。但該算法更有可能推薦白人患者參加這些計(jì)劃，而不是黑人患者。

該研究發(fā)現(xiàn)，該算法使用醫(yī)療支出作為判斷個(gè)體醫(yī)療需求的代理指標(biāo)。但根據(jù)《科學(xué)美國(guó)人》雜志，病情較重的黑人患者的醫(yī)療成本與健康狀況較好的白人相當(dāng)，這意味著即使他們的需求更大，他們也獲得了較低的風(fēng)險(xiǎn)評(píng)分。

研究人員提出，可能有幾個(gè)因素導(dǎo)致了這種情況。首先，有色人種更可能有較低的收入，這即使在有保險(xiǎn)的情況下，也可能使他們不太可能獲得醫(yī)療服務(wù)。隱性偏見(jiàn)也可能導(dǎo)致有色人種接受到的護(hù)理質(zhì)量較低。

盡管研究沒(méi)有指明算法或開(kāi)發(fā)者的名稱(chēng)，研究人員告訴《科學(xué)美國(guó)人》雜志，他們正在與開(kāi)發(fā)者合作解決這一問(wèn)題。

微軟聊天機(jī)器人因訓(xùn)練數(shù)據(jù)集而發(fā)表種族歧視推文

2016年3月，微軟發(fā)現(xiàn)使用Twitter互動(dòng)作為機(jī)器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可能帶來(lái)令人沮喪的結(jié)果。

微軟在社交媒體平臺(tái)上發(fā)布了名為T(mén)ay的AI聊天機(jī)器人，并描述它是“對(duì)話理解”的實(shí)驗(yàn)。其設(shè)計(jì)理念是讓聊天機(jī)器人扮演一個(gè)青少年女孩的角色，并通過(guò)Twitter與人們互動(dòng)，這一過(guò)程結(jié)合了機(jī)器學(xué)習(xí)和自然語(yǔ)言處理技術(shù)。微軟使用匿名的公共數(shù)據(jù)和一些由喜劇演員預(yù)編寫(xiě)的內(nèi)容進(jìn)行種子填充，然后讓它在社交網(wǎng)絡(luò)上自由學(xué)習(xí)和進(jìn)化。

在16小時(shí)內(nèi)，該聊天機(jī)器人發(fā)布了超過(guò)95,000條推文，這些推文迅速變得公然種族歧視、厭女以及反猶太人。微軟迅速暫停了這項(xiàng)服務(wù)進(jìn)行調(diào)整，并最終徹底停止了該項(xiàng)目。

事件發(fā)生后，微軟研究與孵化部門(mén)的公司副總裁(當(dāng)時(shí)為微軟醫(yī)療部門(mén)的公司副總裁)Peter Lee在微軟官方博客上發(fā)文道歉：“我們對(duì)Tay發(fā)布的那些無(wú)意的、具有攻擊性和傷害性的推文深表歉意，這些并不代表我們是誰(shuí)，也不代表我們所追求的目標(biāo)，更不是我們?cè)O(shè)計(jì)Tay的方式。”

李指出，Tay的前身——微軟于2014年在中國(guó)發(fā)布的小冰，已經(jīng)在Tay發(fā)布前的兩年里成功地與超過(guò)4000萬(wàn)人進(jìn)行了對(duì)話。微軟沒(méi)有預(yù)料到的是，一群Twitter用戶(hù)會(huì)立即開(kāi)始向Tay發(fā)送種族主義和厭女主義的評(píng)論。這個(gè)機(jī)器人很快從這些內(nèi)容中學(xué)習(xí)，并將其融入自己的推文中。

李寫(xiě)道：“盡管我們?yōu)橄到y(tǒng)可能遭受的多種濫用做了準(zhǔn)備，但我們對(duì)這種特定攻擊的監(jiān)管存在重大疏忽。結(jié)果，Tay發(fā)布了極不恰當(dāng)和應(yīng)受譴責(zé)的言論和圖片。”

亞馬遜AI招聘工具僅推薦男性候選人

像許多大公司一樣，亞馬遜渴望擁有可以幫助其人力資源部門(mén)篩選出最佳候選人的工具。2014年，亞馬遜開(kāi)始研發(fā)一款A(yù)I驅(qū)動(dòng)的招聘軟件。然而，存在一個(gè)問(wèn)題：該系統(tǒng)極度偏愛(ài)男性候選人。2018年，路透社報(bào)道稱(chēng)亞馬遜已經(jīng)終止了該項(xiàng)目。

亞馬遜的系統(tǒng)給候選人評(píng)級(jí)從1星到5星。但系統(tǒng)核心的機(jī)器學(xué)習(xí)模型是基于過(guò)去十年提交給亞馬遜的簡(jiǎn)歷訓(xùn)練的——其中大多數(shù)來(lái)自男性。由于這種訓(xùn)練數(shù)據(jù)的影響，系統(tǒng)開(kāi)始懲罰簡(jiǎn)歷中包含“women's”一詞的短語(yǔ)，并降低了來(lái)自全女子學(xué)院的候選人的評(píng)級(jí)。

當(dāng)時(shí)，亞馬遜表示這個(gè)工具從未被亞馬遜的招聘人員用于評(píng)估候選人。公司試圖編輯工具使其變得中立，但最終決定它不能保證不會(huì)學(xué)到其他某種歧視性的候選人排序方式，因此終止了該項(xiàng)目。