2023人工智能的哲學倫理和安全性

PAGEPAGE1462人工智能的哲學、倫理和安全性目錄TOC\o"1-2"\h\u132091.1人工智能的極限 4213251.1.1由非形式化得出的論據(jù) 4323341.1.2由能力缺陷得出的論據(jù) 5315891.1.3數(shù)學異議 6298211.1.4衡量人工智能 7143431.2機器能真正地思考嗎 984821.2.1中文房間 9189661.2.2意識與感質(zhì) 10256301.3人工智能的倫理 12210731.3.1致命性自主武器 1387131.3.2監(jiān)控、安全與隱私 16139151.3.3公平與偏見 19142441.3.4信任與透明度 24243121.3.5工作前景 26301141.3.6機器人權(quán)利 29204461.3.7人工智能安全性 3028903小結(jié) 37在本文中，我們圍繞人工智能的意義，如何合乎倫理地開發(fā)并應(yīng)用人工智能，以及如何確保其安全性等幾大問題展開討論。長期以來，哲學家們一直在拷問一些宏大的問題：大腦是如何工作的？機器是否有可能像人一樣做出智能的行為？這樣的機器是否會有真正的、有意識的思想？除此之外，我們還新增了一些問題：智能機器在日常使用中的倫理意蘊是什么？應(yīng)該允許機器做出殺死人類的決定嗎？算法能否做到公平公正？如果機器能完成所有工作，人類將何去何從？如何控制那些可能比我們更加智能的機器？人工智能的極限1980年，哲學家約翰·希爾勒（John Searle）提出了弱人工智能（weakAI）和強人工智能（strong AI）的區(qū)別。弱人工智能的機器以表現(xiàn)得智能，而強人工智能的機器是真正地有意識地在思考（而非僅模擬思考）。隨著時間的推移，強人工智能的定義轉(zhuǎn)而指代“人類級別的人工智能”或“通用人工智能”等，可以解決各種各樣的任務(wù)，包括各種新奇的任務(wù)，并且可以完成得像人類一樣好。弱人工智能的批評者曾懷疑機器是否真的能有智能行為，現(xiàn)在看起來他們和西蒙·紐科姆（Simon Newcomb）一樣短視。1903年10月，在萊特兄弟在基蒂霍克首次飛行的前兩個月，紐科姆寫道，“空中飛行是人類永遠無法應(yīng)對的幾大難題之一”。然而，近年來的飛速進展并不能說明人工智能的成就可以無所不及。艾倫·圖靈（Turing, 1950）是一個定義人工智能的人，也是第一個對人工智能提出可能的異議的人，他預(yù)見了后來人提出的幾乎所有的意見。由非形式化得出的論據(jù)圖靈在“由行為的非形式化得出的論據(jù)”中提到，人類的行為太復(fù)雜了，任何一個形式化的規(guī)則集都無法完全捕捉到。人們必須使用一些非形式化的準則，（論據(jù)中聲稱）這些準則永遠無法由形式化的規(guī)則集捕捉，因此也永遠無法在計算機程序中編碼。休伯特?德雷福斯（HubertDreyfus）是這一觀點的主要支持者，他曾就人工智能發(fā)表了一系列頗具影響力的質(zhì)疑：《計算機不能做什么》（WhatComputersCan’tDo）（Dreyfus,1972）和續(xù)篇《計算機不能做什么》（WhatComputersStillCan’tDo）（Dreyfus,1992），以及和他的兄弟斯圖爾特?德雷福斯（StuartDreyfus）合著的MindOverMachine（DreyfusandDreyfus,1986）。同樣，哲學家肯尼斯·薩瑞（KennethSayre）（Sayre,1993）說：“在對計算主義的狂熱推崇中追求人工智能，是根本不可能有任何長久的結(jié)果的?！彼麄兯u的技術(shù)后來被稱為老式人工智能（GoodOld-FashionedAI，GOFAI）。GOFAI對應(yīng)的簡單邏輯智能體設(shè)計在第7章中介紹過，它確實很難在一個充要的邏輯規(guī)則集里捕捉適當行為的每一種可能性，我們稱之為資格問題（qualification problem）。但就如第12章中提到的概率推理統(tǒng)更適合開放領(lǐng)域和第21章中提到的深度學習系統(tǒng)在各種“非形式化”任務(wù)上表現(xiàn)良好一樣，這一批評評論并不是針對計算機本身，而僅針對使用邏輯規(guī)則進行編程這一特定風格。這種風格曾在20世紀80年代流行，但已被新方法取代。德雷福斯最有力的論據(jù)之一是針對情景式智能體而不是無實體的邏輯推理機。相比于那些看過狗奔跑、和狗一起玩過、曾被狗舔過的智能體來說，一個對“狗”的理解僅來自一組有限的如“Dog(x) Mannal(x)”這樣的邏輯語句的智能體是處于劣勢的。哲學家安迪·克拉克（AndyClark）（Clark,1998）曾說過：“生物大腦是生物體的首要控制系統(tǒng)，生物體在豐富的真實世界環(huán)境中行動?！备鶕?jù)克拉克的觀點，我們“擅長于飛盤游戲而弱于邏輯”。體驗認知（embodiedcognition）方法聲稱單獨考慮大腦是毫無意義的：認知發(fā)生在軀體內(nèi)部，而軀體處于環(huán)境中。我們需要從整體上去研究這個系統(tǒng)。大腦的運行利用其所處環(huán)境中的規(guī)律，這里說的環(huán)境包括軀體的其他部分。在體驗認知方法中，機器人、視覺和一些其他的傳感器成為核心而非外圍部分。總的來說，德雷福斯看到了人工智能還未能完全解決的領(lǐng)域，并由此聲稱人工智能是不可能的?，F(xiàn)在我們看到許多科研人員正在這些領(lǐng)域進行持續(xù)的研究和開發(fā)，從而提高了人工智能的能力，降低了其不可能性。由能力缺陷得出的論據(jù)“由能力缺陷得出的論據(jù)”提出“機器永遠做不到X”這一主張。關(guān)于X，圖靈列舉了以下例子：回顧這些，我們發(fā)現(xiàn)其中一些事相當簡單，如我們都很熟悉“犯錯”的計算機。具有元推理能力的計算機（第5章）能檢查自身計算，從而成為自身推理的主體。一項有著百年歷史的技術(shù)已證明它有“讓人愛上它”的能力，它就是泰迪熊。計算機象棋專家戴維·利維（DavidLevy）預(yù)計，到2050年，人們對愛上類人機器人一事將習以為常。至于機器人墜入愛河，這是虛構(gòu)類文學作品中的常見主題[1]，但這方面的學術(shù)推測有限（Kimetal.,2007）。計算機已經(jīng)完成了許多非常新穎的作，在天文學、數(shù)學、化學、礦物學、生物學和計算機科學等領(lǐng)域都取得了重大發(fā)現(xiàn)，并通過風格轉(zhuǎn)換創(chuàng)造了新的藝術(shù)形式（Gatys et 2016）。總的來說，程序在某些任務(wù)上的表現(xiàn)超過了人類，而在其他任務(wù)上則落后于人類。有一件事是很明顯的，那就是它們不能真正成為人類。如歌劇《葛佩莉亞》（1870）、小說《機器人會夢見電子羊嗎》（1968）（2001）、《機器人總動員》（2008）和《她》（2013）。數(shù)學異議圖靈（Turing,1936）和哥德爾（G?del,1931）證明了某些數(shù)學問題原則上是不能用形式系統(tǒng)解決的。哥德爾不完全性定理（見9.5節(jié)）是最著名的例子。簡單來說，對任意能表達初等數(shù)論的形式化公理框架F，都可以構(gòu)造滿足以下性質(zhì)的哥德爾命題G(F)：G(F)是F中的命題，但在F中不可判定；如果F是一致的，那么G(F)為真。盧卡斯（Lucas,1961）等哲學家聲稱，這個定理表明機器在精神不如人類，因為機器是形式系統(tǒng)，受限于不完全性定理，它們無法判定自身哥德爾命題的真?zhèn)?，而人類則不受此限制。這引起了很多爭議，產(chǎn)生了大量的文獻，包括數(shù)學家/物理學家羅杰·彭羅斯爵士（RogerPenrose）的兩本書（Penrose, 1989, 1994）。彭羅斯用一些新的觀點復(fù)了盧卡斯的觀點，例如，人類之所以不同，是因為他們的大腦是通過量子引力運作的——這個理論對大腦生理學做出了許多錯誤的預(yù)測。對盧卡斯的觀點，我們討論其中3個問題。第一，一個智能體無須因為自己不能判定其他智能體可以判定真?zhèn)蔚拿}而感到羞愧?？紤]以下命題：盧卡斯無法斷言該命題為真。如果盧卡斯斷言該命題為真，那么他就自相矛盾了。而如果盧卡斯無法斷言該命題為真，那么這樣看該命題為真。如此，我們展示了一個盧卡斯無法斷言但其他人（和機器）可以斷言的真命題。但這并不會讓我們小看盧卡斯。第二，哥德爾不完全性定理和相關(guān)結(jié)果適用于數(shù)學而非計算機。人或機器都不能證明不可能被證明的事情。盧卡斯和彭羅斯錯誤地假設(shè)，人類可以以某種方式繞過這些限制，正如盧卡斯（Lucas, 1976）說：“如果思想是可能的，我們必須假設(shè)我們自己的一致性?！钡@是一個毫無根據(jù)的假設(shè)：人類是出了名的不一致的。這當然適用于日常推理，但也適用于認真的數(shù)學思考。一個著名的例子是四色地圖問題。阿爾弗雷德·肯普（AlfredKempe）（Kempe,1879）發(fā)表了一個被廣泛接受的證明，直到11年后珀西·希伍德（Percy Heawood）（Heawood,1890）指出了其中一個錯誤。第三，技術(shù)上來說，哥德爾不完全性定理僅適用于能表達初等數(shù)論的形式系統(tǒng)。這種系統(tǒng)包括圖靈機，盧卡斯的論斷部分是基于“計算機等同于圖靈機”的斷言，這不完全正確。圖靈機是無限的，而計算機（和大腦）是有限的，任何計算機都可以在命題邏輯中被描述為一個（非常大的）系統(tǒng)，因而不受哥德爾不完全性定理的約束。盧卡斯認為人類可以“改變他們的想法”而計算機不能，這也是錯誤的。在有新證據(jù)的情況下或在進一步考慮后，計算機可以撤回它的結(jié)論；它可以升級硬件；可以通過機器學習或重寫軟件來改變決策過程。衡量人工智能艾倫·圖靈在他那篇著名論文“Computing Machinery Intelligence”（Turing,1950）中提出，與其問機器能否思考，不如問機器能否通過行為測試，即圖靈測試。圖靈測試需要一個計算機程序與測試者進行5分鐘的對話（通過鍵入消息的方式）。然后，測試者必須猜測與其對話的是人還是程序；如果程序讓測試者做出的誤判超過30%，那么它就通過了測試。對圖靈來說，關(guān)鍵不在于測試的具體細節(jié)，而是智能應(yīng)該通過某種開放式行為任務(wù)上的表現(xiàn)而不是通過哲學上的推測來衡量。圖靈曾推測，到2000年，擁有10億存儲單元的計算機可以通過圖靈測試。但2000年已經(jīng)過去了，我們?nèi)圆荒芫褪欠裼谐绦蛲ㄟ^圖靈測試達成一致。許多人在他們不知道有可能是和計算機在聊天時被計算機程序欺騙了。程序、網(wǎng)絡(luò)聊天機器人（uphy, 2008）（onhnta.,2009）多次欺騙了與它們交談的人，而聊天機器人引起了執(zhí)法部門的注意，因為它熱衷于誘導(dǎo)聊天對象泄露足夠多的個人信息致使他們的身份被盜用。2014年，一款名為EugeneGoostman的聊天機器人在圖靈測試中令33%未受訓練的業(yè)余評測者做出誤判。這款程序聲稱自己是一名來自烏克蘭的男孩，英語水平有限。這點讓它出現(xiàn)語法錯誤有了解釋。或許圖靈測試其實是關(guān)于人類易受騙性的測試。目前為止聊天機器人還不能騙過受過良好訓練的評測者（Aaronson,2014）。圖靈測試競賽帶來了更優(yōu)秀的聊天機器人，但這還沒成為人工智能領(lǐng)域的研究重點。相反，追逐競賽的研究者更傾向于下國際象棋、下圍棋、玩《星際爭霸II》游戲、參加八年級科學考試或在圖像中識別物體。在許多這類競賽中，程序已經(jīng)達到或超過人類水平，但這并不意味著程序在這些特定任務(wù)之外也能夠像人類一樣。人工智能研究的關(guān)鍵點在于改進基礎(chǔ)科學技術(shù)和提供有用的工具，而不是讓評測者上當。機器能真正地思考嗎一些哲學家聲稱，一臺能做出智能行為的機器實際上并不會思考，而只是在模擬思考。但大多數(shù)人工智能研究者并不關(guān)心這一區(qū)別，計算機科學家艾茲格·迪杰斯特拉（Edsger 曾說過：“機器能否思考……就像潛艇能否游泳這個問題一樣重要”（Dijkstra,1984）?！睹绹鴤鹘y(tǒng)英語詞典》中對游泳的第一條定義是“通過四肢、鰭或尾巴在水中移動”，大多數(shù)人都認同潛艇是無肢的，不能游泳。該詞典也定義飛為“通過翅膀或翅膀狀的部件在空中移動”，大多數(shù)人都認同飛機有翅膀狀部件，能夠飛行。然而，無論是問題還是答案都與飛機和潛艇的設(shè)計或性能沒有任何關(guān)系，而是與英語中的單詞用法有關(guān)。（事實上，在俄語中船的確會游泳這一事實也更加說明了這一點。）使用英語的人還沒有選定“think”這個詞的確切定義，“think”需要“brain”還是僅僅需要“brain-likeparts”？圖靈再次解決了這一問題。他指出，關(guān)于他人內(nèi)在心理狀態(tài)如何，我們從未有任何直接證據(jù)，這是一種精神唯我論。圖靈說：“與其繼續(xù)在這個觀點上爭論不休，不如回到每個人通常都認可的禮貌慣例（politeconvention）?！眻D靈主張，如果我們和能做出智能行為的機器相處過，那么我們也應(yīng)該將這一禮貌慣例的使用范圍延伸到機器上。然而，現(xiàn)在我們確實有了一些經(jīng)驗，但看起來在對感知歸因時，類人的外表和聲音至少與純粹的智力因素同樣重要。中文房間哲學家約翰·希爾勒不認同禮貌慣例。他在著名的中文房間（Chineseroom）（Searle,1990）中這樣論證：想象一個只會英語的人身處一個房間，房間里有一本英語寫成的規(guī)則書和各式各樣的紙堆。一張寫著無法辨認的符號的紙從門縫下面滑進房間，這個人根據(jù)規(guī)則書的指示，在紙堆里找到對應(yīng)符號寫在新紙上并重新排列好。最終，一個或多個符號被轉(zhuǎn)錄到一張紙上并傳回外部世界。從外面我們看到的是一個系統(tǒng)能讀取輸入的中文句子并以中文生成流暢、智能的回復(fù)。希爾勒接著論證：鑒于這個人是不懂中文的，規(guī)則書和一堆紙也僅僅是紙，也不懂中文。因此，這整個過程完全沒有對中文的理解。希爾勒表示，中文房間和計算機會做的事是一樣的，因此計算機也不會產(chǎn)生任何理解力。希爾勒（Searle, 1980）倡導(dǎo)生物自然主義（biologicalnaturalism），根據(jù)該理論，精神狀態(tài)是由神經(jīng)元中低級物理過程引起的高級涌現(xiàn)特征，而神經(jīng)元的（未明確的）特性才是重要的：根據(jù)希爾勒的偏見，神經(jīng)元有“它”，而晶體管沒有。對希爾勒的論點有許多反駁的觀點，但尚未達成共識。他的論點同樣可以（也許被機器人利用）論證人類不可能有真正的理解；畢竟，人類是由細胞構(gòu)成的，細胞不理解，因此人類就無法理解。事實上，這就是特里·比森（Terry Bisson）的科幻小說They’reMadeOutofMeat（Bisson,1990）中的情節(jié)，在這部小說中，外星機器人探索地球，不敢相信大塊的肉居然是有知覺的。它們的形成過程仍是個謎。意識與感質(zhì)貫穿所有關(guān)于強人工智能爭論的主題是意識（consciousness）：對外部世界、自我、生活的主觀體驗的認識。經(jīng)驗的內(nèi)在本質(zhì)的專業(yè)術(shù)語是感質(zhì)（qualia）（源于拉丁語，大意是“什么樣的”）。最大的問題是機器是否有感質(zhì)。在電影《2001太空漫游》中，當宇航員戴維·鮑曼斷開計算機哈爾（HAL 9000）的“認知電路”時，屏幕上寫著“戴夫，我怕。戴夫，我的腦子正在消失，我能感覺到”。哈爾真的有感情（且值得同情）嗎？又或者這個回復(fù)只是一種算法響應(yīng)，與“404錯誤：未找到”沒有任何區(qū)別？對動物們也有類似的問題：寵物的主人確信他們的貓狗有意識，但不是所有科學家都認同這一點。蟋蟀會根據(jù)溫度改變自己的行為，但幾乎沒人會說蟋蟀能體驗到溫暖或寒冷的感覺。意識問題難以解決的一個原因是，即使經(jīng)過幾個世紀的爭論，它的定義依然不明確。但解決方法可能不遠了。近來，在坦普頓基金會的贊助下，哲學家和神經(jīng)科學家合作開展了一系列能解決部分問題的實驗。兩種主流意識理論（全球工作空間理論和整合信息理論）的支持者都認為這些實驗可以證明一種理論優(yōu)于另一種，這在哲學史上實屬罕見。圖靈（Turing, 1950）承認意識問題是一個困難的問題，但他否它與人工智能的實踐有很大的關(guān)聯(lián)：“我不想給人留下我認為意識并不神秘這樣的印象……但我認為，我們不一定需要在回答本文所關(guān)注的問題之前先揭開這些奧秘。”我們認同圖靈的觀點，我們感興趣的是創(chuàng)建能做出智能行為的程序。意識的各個方面，認知、自我認知、注意力等都可以通過編程成為智能機器的一部分。讓機器擁有和人類一模一樣的意識這一附加項目并不是我們想要做的。我們認同做出智能行為需要一定程度的認知，這個程度在不同任務(wù)中是不同的，而涉及與人類互動的任務(wù)需要關(guān)于人類主觀經(jīng)驗的模型。在對經(jīng)驗建模這方面，人類明顯比機器有優(yōu)勢，因為人們可以靠自身去主觀感受他人的客觀體驗。例如，如果你想知道別人用錘子敲拇指是什么感覺，你可以用錘子敲自己的拇指。但機器沒有這種能力，盡管它們可以運行彼此的代碼。人工智能的倫理鑒于人工智能是一項強大的技術(shù)，在道德上我們有義務(wù)妥善使用它，發(fā)揚其積極的方面，避免或減輕其消極一面。積極的方面有很多，例如，通過改進醫(yī)學診斷、發(fā)現(xiàn)新的醫(yī)學成果、更好地預(yù)測極端天氣、通過輔助駕駛直至最終做到自動駕駛來實現(xiàn)更安全的駕駛，人工智能可以拯救生命。改善生活的機會也很多。微軟的人道行動計劃將人工智能用于自然災(zāi)害災(zāi)后恢復(fù)、滿足兒童需求和保護難民。谷歌的賦能社會AI排放量測量、危機咨詢、新聞事實核查、自殺預(yù)防、回收利用等方面的工作。芝加哥大學社會福利數(shù)據(jù)科學中心應(yīng)用機器學習處理刑事司法、經(jīng)濟發(fā)展、教育、公共衛(wèi)生、能源和環(huán)境等領(lǐng)域的問題。人工智能在農(nóng)作物管理和糧食生產(chǎn)等方面的應(yīng)用有助于養(yǎng)活全世為零，因此可能有助于先進技術(shù)的大眾化（的可能性）。盡管有這么多積極方面，我們也不應(yīng)該忽略人工智能的消極方面。許多新技術(shù)都曾產(chǎn)生意想不到的負面影響故并產(chǎn)生毀滅全球的威脅；內(nèi)燃機帶來了空氣污染、全球變暖和死亡的威脅。即使按設(shè)計初衷使用，有些技術(shù)也會產(chǎn)生負面影響，如沙林毒氣、AR-15步槍和電話推銷。自動化能創(chuàng)造財富，但在當今經(jīng)濟形勢下，大部分財富將會流向擁有自動化系統(tǒng)的人，加劇收入不平等。這會破壞一個運轉(zhuǎn)良好的社會。隨著發(fā)達國家采用全自動化制造設(shè)施，發(fā)展中國家通過出口低成本制造品實現(xiàn)發(fā)展的道路可能會被切斷。倫理和治理決策將決定人工智能帶來的不平等程度。所有科學家和工程師都面臨著倫理考量，哪些項目應(yīng)該做，哪些項目不應(yīng)該進行，以及如何確保項目執(zhí)行是安全且有益的。2010年，英國工程和物理科學研究委員會召開會議，制定了一系列機器人準則。接下來數(shù)年里，其他政府機構(gòu)、非盈利組織以及各公司紛紛建立了類似的準則。建立準則的重點是，要讓每一個創(chuàng)造人工智能技術(shù)的機構(gòu)，以及這些機構(gòu)中的每個人都要負責確保技術(shù)對社會有益而非有害。最常被提到的準則是：承認法律和政策的影響承認法律和政策的影響提供透明度避免集權(quán)促進協(xié)作體現(xiàn)多樣性與包容性尊重隱私維護人權(quán)和價值觀確保公平性建立問責制確保安全性限制人工智能的有害用途 考慮對就業(yè)的影響這些原則中有許多（如“確保安全”）適用于所有軟硬件，而不僅僅是人工智能系統(tǒng)。一些原則措辭模糊，難以衡量與執(zhí)行。這在一定程度上是因為人工智能是一個有著眾多子領(lǐng)域的大領(lǐng)域，每個子領(lǐng)域都有著不同的歷史規(guī)范，每個子領(lǐng)域中人工智能開發(fā)者和利益相關(guān)者之間的關(guān)系也不同。（Mittelstadt,2019）中建議各子領(lǐng)域應(yīng)建立更加具體可行的指南及實例。致命性自主武器聯(lián)合國將致命性自主武器定義為可在無人監(jiān)督的情況下，定位、選擇和攻擊（如擊殺）人類目標的武器。有各式各樣的滿足部分標準的武器。例如，自17世紀便開始使用的地雷：它們能根據(jù)被施加壓力的程度或存在的金屬數(shù)量在有限范圍內(nèi)選擇和攻擊目標，但它們無法自己離開原地并定位目標。（《渥太華公約》禁用了地雷。）自20世紀40年代開始使用的導(dǎo)彈能夠追蹤目標，但它們必須由人類指定一個正確的大方向。20世紀70年代以來，自動發(fā)射雷達控制炮就被用于防御軍艦。它們主要用于摧毀來襲的導(dǎo)彈，但也用于攻擊載人飛機。盡管“自主性”一詞常用于描述無人駕駛飛行器或無人機的，需要人為啟動致命載荷。在寫作本書的時候，一些武器系統(tǒng)似乎已經(jīng)進入了完全自主的狀態(tài)。例如，以色列生產(chǎn)的“哈洛普”導(dǎo)彈是一種“巡飛彈”，翼展3米，彈頭重23千克。它會在指定地區(qū)內(nèi)搜索6小時，摧毀一切符合給定標準的目標。這個標準可以是“發(fā)射類似防空雷達的信號”或“看起來像坦克”。土耳其制造商STM公司宣稱，其Kargu四軸飛行器可以攜帶重達1.5千克的炸藥，能夠“自動擊中……圖像上選定的目標……追蹤移動目標……殺傷人員……人臉識別”。自主武器被稱為繼火藥和核武器之后的“第三次戰(zhàn)爭革命”。它們的軍事潛力是顯而易見的。例如，沒有專家會懷疑自主戰(zhàn)斗機能打敗人類飛行員。與有人駕駛的武器相比，自主化的飛機、坦克和潛艇更經(jīng)濟、更快速、更易操作，航程更長。自2014年以來，聯(lián)合國日內(nèi)瓦辦事處在《特定常規(guī)武器公約》（ConventiononCertainConventionalWeapons，CCW）的支持下，就是否禁止致命性自主武器問題開展了定期討論。本書撰寫期間，包括中國在內(nèi)的30個締約方宣布支持一項限制致命性自主武器的國際條約，而包括以色列、俄羅斯、韓國和美國在內(nèi)的其他國家或地區(qū)則反對這項禁令。關(guān)于自主武器的討論涵蓋了法律、倫理和實踐方面。法律問題主要受《特定常規(guī)武器公約》管轄，該公約要求自主武器能區(qū)分戰(zhàn)斗人員與非戰(zhàn)斗人員，能判斷攻擊的軍事必要性，以及能評估目標軍事價值與附帶損害可能性之間的相當性。滿足這些標準的可行性是一個工程問題，其答案無疑會隨著時間的推移而改變。目前，機器在某些情況下似乎能夠區(qū)分戰(zhàn)斗與非戰(zhàn)斗人員，且其能力無疑將迅速提高，但目前還做不到對必要性進行判斷和對相當性進行評估：這些都要求機器根據(jù)情境做出主觀判斷，相比搜索和打擊潛在目標這類相對簡單的任務(wù)要困難得多。出于這些原因，只有在人類操作員能合理預(yù)測執(zhí)行任務(wù)中不會以平民為目標，武器不會進行不必要或不合適攻擊的情況下，才能合法使用自主武器。這意味著，就目前而言，自主武器能執(zhí)行的任務(wù)非常有限。在倫理方面，有些人認為，把殺人的決定權(quán)交給機器在道義上是不可接受的。例如，德國駐日內(nèi)瓦大使曾表示“不接受完全由一個自主系統(tǒng)來做有關(guān)生死的決定”，而日本則表示“沒有計劃研制可脫離人類且有謀殺的能力的機器人”。2017年，美國國防部二號人物保羅·塞爾瓦上將（Gen.PaulSelva）說：“我認為讓機器人決定是否奪走一個人的生命是不合理的?！甭?lián)合國秘書長安東尼奧·古特雷斯（António 在2019年表示：“在沒有人類參與的情況下，擁有剝奪生命的權(quán)利和自由裁量權(quán)的機器在政治上不可接受，道德上令人反感，國際法應(yīng)予以禁止?！眮碜?0多個國家和地區(qū)的超過140個非政府組織參加了“殺手機器人禁令運動”，2015年由生命未來研究所（FutureofLifeInstitute）牽頭的一封公開信已有超過4000名人工智能研究人員[2]和22000署。包括本書的兩位作者。對此，可以說隨著技術(shù)的進步，開發(fā)出比人類士兵或飛行員更不可能造成平民傷亡的武器是可能的。（自主武器能減少人類士兵和飛行員的死亡風險，這也是一大好處。）自主系統(tǒng)不會受疲勞、沮喪、歇斯底里、恐懼、憤怒或報復(fù)等的影響，也不需要“先開槍，后提問”（Arkin,2015）。正如制導(dǎo)彈藥相較于非制導(dǎo)炸彈減少了附帶損害一樣，人們會期望智能武器進一步提高攻擊的精度。［針對這一點，可以參考本杰明（Benjamin, 2013）對無人機戰(zhàn)爭傷亡的分析。］瓦最新一輪談判中的立場。美國是目前少數(shù)幾個不允許使用自主武器的國家之一，這點可能與我們的直覺相反。2011年美國國防部路線圖顯示：“在可預(yù)見的未來，（通過自主系統(tǒng)）使用武力以及對哪個目標進行致命打擊的決定權(quán)將保留在人類控制手中。”制定這項政策主要是從實際出發(fā)：自主系統(tǒng)還未可靠到可以應(yīng)用到軍事決策中?？煽啃詥栴}自1983年9月26日出現(xiàn)，彼時蘇聯(lián)導(dǎo)彈軍官斯坦尼斯拉夫·彼得羅夫（Stanislav Petrov）的計算機屏幕上閃爍著導(dǎo)彈來襲的報，可靠性問題凸顯出來。根據(jù)協(xié)議，彼得羅夫應(yīng)發(fā)起核反擊，但他懷疑這個警報是一個程序錯誤，且最終也按此處理。他判斷對了，（僥幸）避免了第三次世界大戰(zhàn)。如果這整個過程中沒有人類參與，我們不知道會發(fā)生什么。問題。在訓練中能完美運行的機器學習系統(tǒng)在實際部署中可能表現(xiàn)糟通信連接也許能阻止這種情況傷及友軍設(shè)備（假設(shè)它還沒有被破壞但這樣的話在武器出現(xiàn)故障時也無法召回。從攻擊的規(guī)模與可部署的硬件數(shù)量成正比這方面看，關(guān)于自主武器最重要的實際問題是，它們是可擴展的大規(guī)模毀滅性武器，從這個意義上看，一次攻擊的規(guī)模和能部署的硬件數(shù)量成正比。一架直徑5厘米的四軸飛行器可以攜帶致命的爆炸物，100萬架這樣的飛行器可以裝在一個普通的集裝箱里。而正因為它們是自主的，這些武器不需要100萬個人去監(jiān)督它們的工作。作為大規(guī)模毀滅性武器，與核武器和地毯式轟炸相比，可擴展的自主武器對攻擊者有以下優(yōu)勢：它們保持財產(chǎn)完好無損，可以有選擇地用于消除那些可能威脅占領(lǐng)軍的人。當然，它們可能用于消滅某一民族或某一特定宗教的所有信徒。在許多情況下，它們也無法被追蹤。這些特點使它們對非國家行為體特別有吸引力。這些顧慮，尤其是那些有利于攻擊者的特質(zhì)，都表明自主武器將降低全球安全與各方國家安全。看起來對政府來說，合理的反應(yīng)應(yīng)該是開展軍備控制討論而不是軍備競賽。然而，制定一項條約的過程并非一帆風順。人工智能是一門兩用技術(shù)：能以和平的方式應(yīng)用的人工智能技術(shù)也能很容易應(yīng)用于軍事目的，如飛行控制、視覺跟蹤、地圖繪制、導(dǎo)航和多智能體規(guī)劃。只需裝上炸藥并命令它尋找目標，就能把一架自動駕駛的四軸飛行器變成武器。處理這一問題將需要嚴格履行合規(guī)制度，并進行產(chǎn)業(yè)合作，《禁止化學武器公約》在這方面已經(jīng)取得了一些成果。監(jiān)控、安全與隱私1976年，約瑟夫·維森鮑姆（JosephWeizenbaum）曾發(fā)出警告，自動語音識別技術(shù)可能會導(dǎo)致大范圍的竊聽，從而導(dǎo)致公民自由的喪失。如今，這種威脅已經(jīng)成為現(xiàn)實，大多數(shù)電子通信都要經(jīng)過可以被監(jiān)控的中央服務(wù)器，城市里遍布著的麥克風和攝像頭可以根據(jù)聲音、面部和步態(tài)識別和跟蹤個人。以往需要昂貴而稀缺的人力資源的監(jiān)控現(xiàn)在可以由機器大規(guī)模地完成。隨著越來越多的機構(gòu)開始線上運作，我們越來越容易遭受網(wǎng)絡(luò)犯罪（如網(wǎng)絡(luò)釣魚、信用卡詐騙、僵尸網(wǎng)絡(luò)、勒索軟件）和網(wǎng)絡(luò)恐怖主義（包括關(guān)閉醫(yī)院和發(fā)電廠、征用自動駕駛汽車等可能致命的攻擊）。對網(wǎng)絡(luò)安全（cybersecurity）戰(zhàn)的雙方而言，機器學習都是強有力的工具。攻擊者可以利用自動化探測不安全點，并且可以利用強化學習進行網(wǎng)絡(luò)釣魚和自動勒索。防御者可以利用無監(jiān)督學習檢測異常的傳入流量模式（Chandolaetal.,2009;Malhotraetal.,2015），以及利用各種機器學習技術(shù)發(fā)現(xiàn)詐騙（Fawcett and Provost, 1997; Bolton and 2002）。隨著攻擊越來越復(fù)雜，所有工程師（不僅僅是安全專家）都肩負著更大的責任，要從一開始就設(shè)計安全的系統(tǒng)?？{爾（Kanal,2017）預(yù)測，到2021年，網(wǎng)絡(luò)安全領(lǐng)域的機器學習市場規(guī)模將達到約1000億美元。善保管他們所持有的數(shù)據(jù)。在美國，《健康保險便攜性和責任法案》（HealthInsurancePortabilityandAccountabilityAct，HIPAA）和《家庭教育權(quán)利和隱權(quán)法案》（FamilyEducationalRightsandPrivacyAct，F(xiàn)ERPA）保護醫(yī)療和教育記錄的隱私。歐盟的《通用數(shù)據(jù)保護條例》（GeneralDataProtectionRegulation，GDPR）規(guī)定，公司在設(shè)計系統(tǒng)時應(yīng)考慮到數(shù)據(jù)保護，并要求它們在收集或處理數(shù)據(jù)時需征求用戶同意。與個人隱私權(quán)相平衡的是社會從共享數(shù)據(jù)中獲得的價值。我們希望能在不壓迫平和異議的情況下阻止恐怖襲擊，我們希望能在不損害任何個人保護其健康記錄隱私權(quán)利的情況下治愈疾病。一項關(guān)鍵實踐是去標識化（de-identification），即去除個人身份識別信息（如名字和社會保險號）以便醫(yī)學研究人員能利用這些數(shù)據(jù)造福大眾。問題在于這些共享的去標識化數(shù)據(jù)可能會被重新標識。例如，數(shù)據(jù)剔除了姓名、社會保險號和街道地址，但保留了生日、性別、郵編等信息，那么，拉坦婭·斯威尼（LatanyaSweeney）的研究（Sweeney,2000）表明，87%的美國人可以因此被準確標識。斯威尼在其所在州的州長住院時重新識別出他的健康記錄，再次強調(diào)了這一問題。在Netflix獎競賽中，主辦方提供了去標識化的個人電影評分記錄，參賽者需要提供一個機器學習算法以準確預(yù)測個體喜歡哪些電影。但研究者可以通過匹配Netflix數(shù)據(jù)庫中的評分日期和互聯(lián)網(wǎng)電影數(shù)據(jù)庫（IMDB）中相似評分的日期重新識別個人用戶，而IMDB中一些用戶會使用他們的真實姓名（Narayanan Shmatikov,2006）。可以通過泛化字段在一定程度上減輕這種風險。例如，將具體的出生日期替換成出生年份，或替換成像“20～30歲”這樣更籠統(tǒng)的表示。完全刪除字段可以視為泛化成“任意”。但僅靠泛化這一手段不足以保證記錄不被重新識別，可能郵編為94720，年齡在90～100歲的人只有一個。一個有用的性質(zhì)是k匿名性（k-anonymity）：具備k匿名性的數(shù)據(jù)庫中的k?1數(shù)據(jù)太過獨特不滿足這一性質(zhì)，那么就需要對它們進行進一步泛化。另一種共享去標識化數(shù)據(jù)的方式是保持所有記錄私有，但允許聚合查詢（aggregate querying）。數(shù)據(jù)庫提供查詢API而非數(shù)據(jù)庫本身，效查詢語句將收到數(shù)據(jù)的匯總響應(yīng)，包含數(shù)據(jù)的計數(shù)或均值。但如果查詢違反了隱私保障，則不會有響應(yīng)。例如，我們允許流行病學家詢問每個郵編范圍內(nèi)人口的患癌比例。對郵編內(nèi)人口至少為n的情況我們提供這一比例（包含少量隨機噪聲），但當郵編內(nèi)人口少于n時，我們不作任何響應(yīng)。要注意保護多重查詢時的去標識化。例如，對查詢“XYZ公司年齡在30～40歲的員工的平均薪酬和人數(shù)”做出的響應(yīng)是[$81234, 12]，對查詢“XYZ公司年齡在30～41歲之間的員工的平均薪酬和人數(shù)”做出的響應(yīng)是[$81199,13]，接著如果我們在領(lǐng)英（LinkedIn）上發(fā)現(xiàn)XYZ公司的一名41歲員工，那么盡管整個過程中所有響應(yīng)都包含12個或更多人，我們也能成功識別出這名41歲的員工，并且知道他的準確薪酬。因此，必須仔細設(shè)計系統(tǒng)，通過限制可接受的查詢（或許僅允許查詢事先設(shè)定的一組不重疊的年齡范圍）及限制結(jié)果精度（或許兩個查詢的答案都是“約81000美元”）等手段防止重標識的風險。一種更強的保障是差分隱私（differentialprivacy），即使允許攻擊者使用多重查詢并能訪問單獨的鏈接數(shù)據(jù)庫，差分隱私也能保證攻擊者不能通過查詢重新識別數(shù)據(jù)中的任何個體。查詢做出響應(yīng)時利用隨機化算法為結(jié)果添加少量噪聲。給定數(shù)據(jù)庫D，數(shù)據(jù)庫中的任何記錄r，任意查詢Q，以及查詢的可能響應(yīng)y。如果添加記錄r時響應(yīng)y的對數(shù)概率變化量小于，即：我們稱數(shù)據(jù)庫D庫中都不會對所有人獲取到的答案造成明顯差異，因此隱私不會限制個體的參與。許多數(shù)據(jù)庫的設(shè)計都旨在保證差分隱私。到目前為止，我們已經(jīng)討論了從中央數(shù)據(jù)庫共享去標識數(shù)據(jù)的問題。聯(lián)邦學習（federatedlearning）方法（Kone?n?etal.,2016）沒有中央數(shù)據(jù)庫，而是由用戶維護自己的本地數(shù)據(jù)庫，以保持數(shù)據(jù)的私密性。然而，他們可以共享由他們的數(shù)據(jù)強化的機器學習模型參數(shù)，而沒有泄露任何私人數(shù)據(jù)的風險。設(shè)想一個語音理解應(yīng)用，用戶可以在自己的手機上本地運行。該應(yīng)用包含一個基線神經(jīng)網(wǎng)絡(luò)，然后用從用戶手機上聽到的單詞進行本地訓練改進該網(wǎng)絡(luò)。應(yīng)用所有者定期調(diào)研部分用戶，向他們索取改進后的本地網(wǎng)絡(luò)參數(shù)值，但不索取任何原始數(shù)據(jù)。將這些參數(shù)值整合到一起形成一個新的改進模型，然后將該模型提供給所有用戶，使所有用戶都能從其他用戶所做的訓練中獲益。為保護隱私，我們必須確保每個用戶共享的模型參數(shù)不能被逆向工程化。如果我們發(fā)送原始參數(shù)，對方在檢查這些參數(shù)時有可能推斷出用戶的手機是否聽到了某個單詞。安全聚合（secure （Bonawitzetal.,2017）是消除該風險的一種方法。其想法認為對于每個參數(shù)，中央服務(wù)器不需要知道每個分布式用戶的確切參數(shù)值；它只需要所有調(diào)查用戶在該參數(shù)上的平均值。因此，每個用戶可以通過為每個值添加唯一掩碼來隱藏他們的參數(shù)值，只要掩碼的總和為零，中央服務(wù)器就能計算出正確的平均值。協(xié)議的細節(jié)確保它在通信方面是高效的（傳輸?shù)奈粩?shù)不到與掩碼相對應(yīng)的位的一半），對無法響應(yīng)的個體用戶是穩(wěn)健的，并且在面對敵對用戶、竊聽者，甚至是敵對的中央服務(wù)器時是安全的。公平與偏見機器學習正增強甚至取代人類在重要情況下的決策：批準哪些人的貸款、派警察到哪個社區(qū)、誰能審前釋放或假釋。但機器學習模型會延續(xù)社會偏見（societalbias）?？紤]這樣一個算法例子，它預(yù)測刑事被告是否可能再次犯罪，從而判斷他們是否應(yīng)該在審判前被釋放。這種系統(tǒng)很可能會從訓練集的樣本中學會人類的種族或性別偏見。機器學習系統(tǒng)的設(shè)計者有道德義務(wù)確保他們的系統(tǒng)在實際中是公平的。在信貸、教育、就業(yè)和住房等受監(jiān)管的領(lǐng)域，他們也有法律義務(wù)確保公平。但什么是公平？公平有許多種標準。以下是6個最常用的公平概念。個體公平：無論個體屬于哪個類別，都應(yīng)該被同等對待。群體公平：從總體統(tǒng)計上看，不同類別應(yīng)該被同等對待。無意識公平能就無法區(qū)分這些屬性。遺憾的是，我們知道機器學習模型可以通過其他相關(guān)變量（如郵編和職業(yè)）來預(yù)測隱變量（如種族和性別）。而且，刪除這些變量導(dǎo)致無法驗證機會均等和結(jié)果均等。盡管如此，一些國家（如德國）仍然使用這種方法進行人口統(tǒng)計（型）。結(jié)果均等他們具有人口平價（demographicparity）。例如，假設(shè)我們要決定是否通過貸款申請，目標是要批準能夠還款的申請人而拒絕可能拖欠貸款的申請人。人口平價表明男性與女性的貸款獲批比例應(yīng)相同。要注意的是這是群體公平標準，并不確保個體公平。只要大體上比例是相等的，一個合格的申請人可能會被拒絕，一個不合格的申請人也可能獲得通過。此外，這種方法有助于糾正過去的偏見。如果一個男人和一個女人在各方面都相同，從事同一份工作，但女人的收入更少，那么應(yīng)該通過女人的貸款申請嗎？因為如果不是由于歷史的偏見，她和男人的條件是一樣的；又或者說因為事實上她的收入更少，她更可能違約，所以應(yīng)該拒絕她的申請？機會均等別，都應(yīng)有同等機會被正確歸類。這種方法也被稱為“平衡”。它會導(dǎo)致不平等的結(jié)果，忽視產(chǎn)生訓練數(shù)據(jù)的社會過程中偏見的影響。影響均等似，他們應(yīng)該有相同的期望效用。這較機會均等更勝一籌，因為它既考慮了真實預(yù)測的好處，也考慮了錯誤預(yù)測的代價。我們在一個具體情境中研究這些問題。COMPAS是一個為累犯（犯）評分的商業(yè)系統(tǒng)。它給刑事案件中的被告打風險分，法官將利用這個分數(shù)做出決策：審前釋放被告安全嗎？他們應(yīng)該被判刑入獄嗎？如果罪名成立，刑期應(yīng)多長？是否應(yīng)同意假釋？鑒于以上這些決定的重要性，該系統(tǒng)一直受到嚴格的審查（DresselandFarid,2018）。COMPAS在設(shè)計中經(jīng)過良好校準（wellcalibrate），所有被算法打了相同分數(shù)的人，無論種族，都應(yīng)該有大致相同的可能性再次犯罪。例如在模型打了7分（滿分10分）的人中，60%的白人和61%的黑人再次犯罪。因此，設(shè)計者宣稱COMPAS達到了預(yù)期的公平目標。其實，COMPAS并沒有做到機會均等：沒有再次犯罪卻被模型錯誤評定為高危人群的比例，在黑人中是45%，在白人中是23%。在“威斯康星州訴盧米斯案”中，法官依賴COMPAS決定對被告的判決，盧米斯辯稱算法不公開的內(nèi)部運作侵犯了他的正當程序權(quán)利。盡管威斯康星州最高法院認為，在本案中即便沒有COMPAS，判決也不會有什么不同，但它確實就算法的準確性和對少數(shù)族裔被告的風險發(fā)出了警告。其他研究人員則質(zhì)疑在判決等應(yīng)用中使用算法是否合適。我們希望能有一個算法既經(jīng)過良好校準，又能做到機會均等，但克萊因伯格等人（Kleinbergetal.,2016）證明這是不可能的。如果基類是不同的，那么任何經(jīng)過良好校準的算法都必然不能做到機會均等，反之亦然。我們該如何權(quán)衡這兩個標準？影響均等是一種可能性。在COMPAS的示例中，這意味著要在被告被錯誤歸類為高風險從而失去自由，以及新增一次犯罪的社會成本二者之間找到一個優(yōu)化權(quán)衡的點。這件事很復(fù)雜，因為有許多成本需要考慮。有個人成本——每個被錯誤關(guān)押入獄的被告蒙受損失，被錯誤地釋放并再次犯罪的被告的受害者也蒙受損失。但除此之外還有群體成本——每個人都擔心自己會被錯誤監(jiān)禁或是成為犯罪受害者，全體納稅人為監(jiān)獄和法庭的成本買單。如果我們根據(jù)相應(yīng)群體的規(guī)模來評估這些擔憂和成本，那么大眾的利益可能會以犧牲少數(shù)群體為代價。為累犯評分的另一個問題是，無論我們使用什么模型，我們都缺少無偏的真實數(shù)據(jù)。數(shù)據(jù)并不會告訴我們誰犯過罪，我們只能知道誰被判罪。如果實施拘捕的警察、法官或陪審團中有人帶有偏見，那么這個數(shù)據(jù)就是有偏的。如果某些地方有更多的警察巡邏，那么數(shù)據(jù)對這些地方的人就帶有偏見。只有被釋放了的被告才可能再次犯罪，所以如果做出釋放判決的法官是帶偏見的，那么數(shù)據(jù)就是有偏的。如果假設(shè)在有偏數(shù)據(jù)集背后是一個潛在的、未知的、無偏數(shù)據(jù)集，只是這個數(shù)據(jù)集被帶有偏見的智能體破壞，那么有一些方法可以將其恢復(fù)到幾乎無偏的數(shù)據(jù)。（JiangandNachum,2019）中介紹了各種不同的場景及相關(guān)技術(shù)。還有一個風險是機器學習會被用于證明偏見的合理性。如果一個帶有偏見的人在與機器學習系統(tǒng)商議后做出決策，這個人可以聲稱“我對模型的解讀支持我的決策，所以你不應(yīng)該質(zhì)疑我的決策”。但是對模型的另一種解讀可能導(dǎo)致相反的決策。有時候公平意味著我們需要重新考慮目標函數(shù)，而不是重新考慮數(shù)據(jù)或算法。例如，在做招聘決策時，如果目標是聘用資質(zhì)最好的候選人，我們會不公平地獎勵那些終身都擁有優(yōu)質(zhì)教育機會的人，從而固化類別。但如果我們的目標是聘用最能在工作中學習的候選人，我們就提供了更好的打破類別壁壘的機會，并且能在更廣闊的人群中選擇。許多公司有針對這類求職者的項目，并在經(jīng)過一年的培訓后發(fā)現(xiàn)，采用這種方式招聘的員工表現(xiàn)得與傳統(tǒng)求職者一樣好。同樣地，美國的計算機科學畢業(yè)生女性只占18%，但像哈維馬德大學（HarveyMuddUniversity）等一些學校這一比例達到50%，它們鼓勵并留住那些開始學習計算機科學課程的女生，尤其是那些一開始編程經(jīng)驗較少的女生。最后一個困難在于決定哪些類別值得保護。在美國，《公平住房法案》（theFairHousingAct）認可的7個受保護的類別：種族、膚色、宗教、國籍、性別、殘疾和家庭狀況。其他地方性、州立和聯(lián)邦法律還認可一些其他類別，包括性取向、懷孕情況、婚姻情況和退伍軍人身份。這些類別僅受一些法律而不受其他法律保護，這樣是否公平呢？國際人權(quán)法（Internationalhumanrightslaw）中涵蓋了一批廣泛的保護類別，是協(xié)調(diào)不同群體保護的一個潛在框架。即使沒有社會偏見，樣本量差異（samplesizedisparity）也會導(dǎo)致結(jié)果有偏。在大部分數(shù)據(jù)集中，少數(shù)類別群體的樣本數(shù)往往少于多數(shù)類別群體。機器學習算法在有更多訓練數(shù)據(jù)時能更精確，這意味著對少數(shù)類別的成員，算法精度更低。例如，布拉姆維尼和格布魯（BuolamwiniandGebru,2018）色男性準確度近乎完美，而對深膚色女性有33%的錯誤率。約束模型可能不能同時擬合多數(shù)類別和少數(shù)類別。線性回歸模型僅擬合多數(shù)類別來最小化平均錯誤；SVM模型中，支持向量對應(yīng)的可能全部是多數(shù)類別的成員。偏見也會在軟件開發(fā)過程中出現(xiàn)（無論軟件是否涉及機器學習）調(diào)試系統(tǒng)的工程師更可能注意并解決那些他們自己會遇到的問題。例不會說烏爾都語（巴基斯坦官方語言）如何防止這些偏見呢？第一種想法是了解你所用數(shù)據(jù)的限制。有人建議數(shù)據(jù)集（Gebruetal.,2018;Hindetal.,2018）和模型（Mitchelletal.,2019）類似于電阻器等電子元件的數(shù)據(jù)表（datasheet），讓設(shè)計者選擇可以用的元件。除數(shù)據(jù)表外，重要的是要從校園教育和在職培訓兩方面一起入手，讓工程師意識到公平與偏見這一問題。工程師們的背景多樣性能讓他們更易注意到數(shù)據(jù)或模型中的問題。AI Now研究所的一項研（Westetal.,2019）發(fā)現(xiàn)，僅有18%人工智能主要會議的作者及20%人工智能方向的教授為女性。而黑人人工智能工作者的比例低至4%。這些比例在工業(yè)研究實驗室中也類似?？梢酝ㄟ^高中和大學等早期階段的項目或?qū)I(yè)層級的更高認識提升多樣性。喬伊·博拉姆維尼（JoyBuolamwini）創(chuàng)立了算法正義聯(lián)盟，以提高人們對這一問題的認識，并制訂問責辦法。第二種想法是去除數(shù)據(jù)偏差（Zemeletal.,2013）?？梢詫ι贁?shù)類別的數(shù)據(jù)進行過采樣防止樣本量差異。諸如合成少數(shù)過采樣技術(shù)SMOTE（Chawlaetal.,2002）（eta.,2008）等提供了有原則的過采樣方法。我們可以檢查數(shù)據(jù)來源然后做一些操作，例如剔除那些在過去的判例中表現(xiàn)出偏見的法官的案例。一些分析師反對丟棄數(shù)據(jù)，他們建議應(yīng)為包含偏差的數(shù)據(jù)建立一個分層模型，以便進行建模和補償。谷歌和NeurIPS試圖通過贊助包容性圖像大賽（theInclusiveImagesCompetition）提高人們對這個問題的認識。在這個比賽中，參賽者用從北美和歐洲收集的帶有標簽的圖像數(shù)據(jù)集訓練一個網(wǎng)絡(luò)，然后在來自世界各地的圖像上進行測試。問題是，用這個數(shù)據(jù)集可以很容易把“新娘”這個標簽應(yīng)用到一個穿著標準西方婚紗的女性身上，但卻很難識別傳統(tǒng)的非洲和印度婚紗。第三種想法是發(fā)明新的對偏見更有抵抗力的模型和算法。第四種想法是允許系統(tǒng)最初提出的建議帶有偏見，然后再訓練一個系統(tǒng)對第一個系統(tǒng)的建議去偏。貝拉米等人（Bellamyetal.,2018）提出IBMAIFAIRNESS360系統(tǒng)，為所有這些想法提供了一個框架。我們預(yù)期未來會有更多人使用這類工具。如何才能確保建立的系統(tǒng)是公平的？在這方面已有一套優(yōu)秀的做法（盡管人們并非總是遵循這些做法）。從項目一開始就考慮公平性。創(chuàng)造一個能推動軟件工程師的社會背景多樣性的多元化環(huán)境。定義系統(tǒng)的服務(wù)群體：不同語言的使用者、不同年齡群、不同的視力和聽力水平等。優(yōu)化包含公平的目標函數(shù)。性。達到目標。標。包含能反映少數(shù)群體用戶體驗的系統(tǒng)測試。設(shè)置反饋渠道，當公平性問題出現(xiàn)時能夠得到解決。信任與透明度設(shè)計一個準確、公平、可靠、安全的人工智能系統(tǒng)是富有挑戰(zhàn)的；而讓所有人相信你做到了這一點則又是另一個挑戰(zhàn)。人們需要能夠信任他們使用的系統(tǒng)。2017年普華永道的一項調(diào)查發(fā)現(xiàn)76%的企業(yè)出于對可信度的擔憂放緩對人工智能的采用。19.9.4節(jié)中我們討論了一些獲取信任的工程方法，這里我們討論政策問題。為獲取信任，任何工程系統(tǒng)都必須通過一項驗證與確認（verificationandvalidation，V&V）過程。驗證指產(chǎn)品滿足某些規(guī)范。確認指確保這些規(guī)范在實際中要滿足用戶及其他受影響方的需求。對一般的工程和傳統(tǒng)上由程序員完成的軟件開發(fā)，我們有一套詳盡的V&V方法論。這套方法論中大部分適用于人工智能系統(tǒng)。但機器學習系統(tǒng)是不同的，需要一套新的V&V過程，這還有待開發(fā)。我們需要驗證系統(tǒng)用于學習的數(shù)據(jù)；需要驗證結(jié)果的準確與公平，即使面對讓精確結(jié)果不可知的不確定性；需要驗證對手不會過度影響模型，不能通過查詢竊取信息。一種信任工具是認證（certification）。例如，美國保險商實驗室（UnderwritersLaboratories，UL）成立于1894年，彼時的消費者對電力風險感到擔憂。電器的UL認證讓消費者更加信任，且實際上UL目前正考慮進入人工智能的商業(yè)產(chǎn)品測試和認證市場。其他行業(yè)很早就有安全標準了。例如，ISO26262是汽車安全的國際標準，介紹了如何以安全的方式開發(fā)、生產(chǎn)、經(jīng)營、服務(wù)交通工具。人工智能行業(yè)中盡管已經(jīng)有一些像IEEEP7001這樣正在修訂中的框架，為人工智能和自動化系統(tǒng)定義倫理設(shè)計標準（BrysonandWinfield,2017），但還沒有一個像ISO26262這樣清晰的標準。人們一直在爭論什么樣的認證是必需的，以及應(yīng)在多大程度上由政府、IEEE這樣的專業(yè)機構(gòu)、UL這樣的獨立認證機構(gòu)完成或通過由產(chǎn)品公司做自監(jiān)管完成。信任的另一方面是透明度（transparency）。消費者想要知道系統(tǒng)內(nèi)是怎么運行的，并且確保系統(tǒng)不會出于故意的惡意、無心的故障或普遍的社會偏見對他們不利。在其他方面，因為涉及知識產(chǎn)權(quán)問題對消費者保密，但應(yīng)該對監(jiān)管和認證機構(gòu)開放。當你的貸款申請被一個人工智能系統(tǒng)拒絕時，你應(yīng)得到一個說明。在歐洲，《通用數(shù)據(jù)保護條例》保障你的這一權(quán)利。一個可以說明自己的人工智能系統(tǒng)稱為可解釋AI（explainableAI，XAI）。一個優(yōu)秀的說明具有幾個性質(zhì)：它應(yīng)該能被用戶理解且能取信用戶，它應(yīng)該能準確反映系統(tǒng)的推理，它應(yīng)該是完整的，且它應(yīng)該是具體的，不同用戶在不同條件和不同結(jié)果下應(yīng)該得到不同的說明。讓一個決策算法訪問它的審議過程很容易，只需要將審議過程記錄為可讀的數(shù)據(jù)結(jié)構(gòu)即可。這意味著可能最終機器能就它們的決策給出比人類更好的說明。此外，我們可以采取措施證明機器的說明不是欺騙（無論是故意的或自欺欺人），而這對人類來說更加困難。說明是有用的，但不足以讓人產(chǎn)生信任。其中一個問題是，說明并不是決策，而是關(guān)于決策的故事。正如19.9.4節(jié)中討論的，如果我們能看到一個系統(tǒng)中模型的源代碼并看到它在做的事，我們就稱它是可說明的；即使這個系統(tǒng)本身是個不可解釋的黑盒，如果我們能就系統(tǒng)做的事給出緣由，我們稱它是可說明的。為說明這個不可解釋的黑盒，我們需要構(gòu)建、調(diào)試并測試一個獨立的說明系統(tǒng)，并確保它與原始系統(tǒng)同步。因為人類喜歡聽好故事，我們都很容易被一個聽起來不錯的說明說服。以當今的政治爭議為例，你總能找到兩位所謂的專家，他們的說明截然相反，但都能自圓其說。最后一個問題是，對一個案例的說明并不能概括其他案例。如果銀行說明說，“對不起，你沒有得到貸款，因為你以前有財務(wù)問題，”你不知道這個說明是否準確，或者銀行是否因為某種原因暗中對你有偏見。在這種情況下，你不僅需要一個說明，而且還需要對過去的決策進行審計，用各種人口學群體的匯總統(tǒng)計來查看他們的批貸率是否均衡。透明度的一部分來自于你知道和你交流的是人工智能系統(tǒng)還是人類。托比·沃爾什（Walsh,2015）提出，“認成自主系統(tǒng)之外的任何東西，并應(yīng)在任何互動開始時明確自己的身份。”他稱此為“紅旗”法，以紀念英國1865年通過的《機車法案》，該法案要求任何機動車輛都必須由舉著紅旗的人走在前面開道，提示他人可能到來的危險。2019年，美國加利福尼亞州頒布法律，“任何人使用機器人在網(wǎng)上與加利福尼亞州的另一個人進行交流，意圖在其人造身份上誤導(dǎo)他人的行為是違法的?！惫ぷ髑熬皬牡谝淮无r(nóng)業(yè)革命（公元前10000年）到工業(yè)革命（18世紀末）再到糧食生產(chǎn)的綠色革命（20世紀50年代），新技術(shù)改變了人類的工作和生活方式。人工智能發(fā)展引發(fā)的主要擔憂是人類勞動會被淘汰。亞里士多德在《政治學》（Politics）（第一卷）中非常清楚地提出了主要觀點：如果所有工具，都能夠完成自己的工作，服從并預(yù)見到他人意志……倘若織梭能自動織布，琴撥能自動撥弦，那么工匠就不需要幫手了，主人也就不需要奴隸了。[3]此處對《政治學》一書中的引用采用了中國人民大學出版社1999——編者注所有人都同意亞里士多德的觀點，即當雇主發(fā)現(xiàn)一種機械化方法能代替此前由人完成的工作時，他會立刻減少雇傭人數(shù)。問題在于隨之而來的、有助于增加就業(yè)的補償效應(yīng)，最終是否能彌補這一減少。主要的補償效應(yīng)在于生產(chǎn)力提高帶來的總體財富增長，進而帶動商品需求的增加，有利于增加就業(yè)。例如，普華永道（Rao and Verweij, 2017）測，到2030年，人工智能每年將為全球GDP貢獻15萬億美元。短期內(nèi)醫(yī)療保健和汽車/運輸行業(yè)獲益最大。然而，自動化的優(yōu)勢還沒有在我們的經(jīng)濟體系中發(fā)揮出來：目前勞動生產(chǎn)力的增長率實際上是低于歷史水平的。布林約爾松等人（Brynjolfssonetal.,2018）試圖解釋這一悖論，其認為基礎(chǔ)技術(shù)的發(fā)展與其在經(jīng)濟中的應(yīng)用之間的滯后比通常假設(shè)的要長。歷史上，技術(shù)創(chuàng)新曾導(dǎo)致一些人失業(yè)。19世紀10年代自動織布機曾取代織布工人，引發(fā)了路德派的抗議。路德派不針對技術(shù)本身，他們只是希望付給嫻熟工匠豐厚報酬，由他們操作機器生產(chǎn)高質(zhì)量的商品，而不是支付微薄的薪水，讓毫無經(jīng)驗的工人操作機器生產(chǎn)劣質(zhì)商品。20世紀30年代全球范圍內(nèi)的就業(yè)減少讓約翰·梅納德·凱恩斯（JohnMaynardKeynes）提出了技術(shù)性失業(yè)（technologicalunemployment）這個術(shù)語，在以上兩個例子及其他更多例子中，就業(yè)水平最終都恢復(fù)了。在20世紀大部分時間里，主流經(jīng)濟學觀點都認為技術(shù)性失業(yè)是一種短期現(xiàn)象。提高的生產(chǎn)力總歸會帶來財富和需求的增長，從而帶來凈就業(yè)增長。銀行柜員是個經(jīng)常被引用的例子：盡管ATM取代了人類的點鈔工作，但這降低了銀行網(wǎng)點的運營成本，因此網(wǎng)點數(shù)量增加，從而使銀行員工總數(shù)增加。工作的性質(zhì)也發(fā)生了變化，變得不那么例行公事，而是需要更高級的業(yè)務(wù)技能。自動化的凈效應(yīng)似乎是減少了任務(wù)，而不是工作機會。大多數(shù)評論者預(yù)測至少在短期內(nèi)人工智能技術(shù)也是如此。高德納（Gartner）、麥肯錫（McKinsey）、福布斯（Forbes）、世界經(jīng)濟論壇（WorldEconomicForum）和皮尤研究中心（PewResearchCenter）均在2018年發(fā)布報告，預(yù)測人工智能驅(qū)動的自動化將帶來就業(yè)崗位的凈增長。但有分析人士認為，這次的情況將有所不同。IBM曾在2019年預(yù)測，到2022年，將有1.2億工人因自動化而需要再培訓；牛津經(jīng)濟預(yù)測，到2030年，將有2000萬制造業(yè)崗位因自動化而消失。弗雷和奧斯本（FreyandOsborne,2017）調(diào)查了702種不同的職業(yè)，并估計其中47%的職業(yè)有被自動化的風險，這意味著這些職業(yè)中都至少有部分任務(wù)可以由機器完成。例如，美國近3%的勞動力是汽車司機，甚至在一些地區(qū)有高達15%的男性勞動力是司機。正如我們在第26章中看到的，駕駛這一任務(wù)很可能被無人駕駛的汽車、卡車、公共汽車、出租車所取代。區(qū)分職業(yè)和這些職業(yè)中涉及的任務(wù)是很重要的。根據(jù)麥肯錫的估計，只有5%的職業(yè)會完全自動化，而60%的職業(yè)中大約30%在確保妥當提貨和交付；在運輸路途的起點/終點擔任客戶服務(wù)代表和銷售；也許還會管理3輛機器人卡車的車隊。用一名車隊經(jīng)理取代3利用自動化：我們是要專注于降低成本，從而將失業(yè)視為一種積極因素；還是要專注于提高質(zhì)量，讓員工和客戶的生活更美好？心應(yīng)該在結(jié)構(gòu)化分析任務(wù)的自動化上，如讀取X射線影像、用戶關(guān)系管理（例如，自動排序用戶投訴并回復(fù)推薦補救措施的機器人），合文檔和結(jié)構(gòu)化數(shù)據(jù)進行商業(yè)決策并改進工作流的業(yè)務(wù)流程自動化（businessprocessautomation）。隨著時間推移，我們將看到更多物理機器人實現(xiàn)自動化，最開始會出現(xiàn)在受控的倉庫環(huán)境中，然后推廣到更加不確定的環(huán)境中，預(yù)計到2030年它們會占據(jù)相當大的市場份額。隨著發(fā)達國家的人口老齡化，在職員工和退休人員的比例也隨之改變。2015年時，每100個職工對應(yīng)少于30名退休人員；預(yù)計到2050年，這一數(shù)字將超過60人。對老年人的照顧將越來越重要，人工智能可以部分填補這一缺口。此外，如果我們想維持目前的生活水平，那么剩下的工人需要有更高的生產(chǎn)力。自動化似乎是實現(xiàn)這一目標的最佳機會。盡管自動化會帶來數(shù)億萬美元的凈積極性影響，但因受變革的步伐（paceofchange）生改變的：1900年，超過40%的美國勞動力從事農(nóng)業(yè)，但到了2000年，這一比例跌至2%。[4]這對我們的工作方式是一個巨大的沖擊，但這是在長達100年的時間跨度里發(fā)生的，因此歷經(jīng)了幾代人，而不是在一個工人的一生內(nèi)完成。2010年，盡管只有2%的美國勞動力是真正的農(nóng)民，但超過25%的人口（約8000萬人）玩過一次《開心農(nóng)場》（FarmVille）游戲。那些在這10年內(nèi)被自動化取代的工人在接下來幾年內(nèi)可能不得不接受新的職業(yè)，然后有可能發(fā)現(xiàn)他們的新職業(yè)又要被自動化取代，并面臨新的再培訓期。有些人可能樂于離開他們的老職業(yè)——我們看到隨著經(jīng)濟的改善，卡車公司需要提供新的激勵來雇傭足夠的司機——但工人們會對他們的新角色感到擔憂。為解決這個問題，社會需要提供終身教育，也許在某種程度上依賴于由人工智能驅(qū)動的在線教育（Martin,2012）。貝森（Bessen, 2015）認為，除非工人被培訓為能實施新術(shù)，否則他們的收入不會增加，而技術(shù)培訓是一個需要時間的過程。技術(shù)往往會加劇收入不平等（income inequality）。在以高帶寬球通信和零邊際成本復(fù)制知識產(chǎn)權(quán)為標志的信息經(jīng)濟［弗蘭克和庫克（FrankandCook,1996）稱之為“贏者通吃的社會”］中，回報趨于集中化。如果農(nóng)民A比農(nóng)民B優(yōu)秀10%，那么A的收入就會比B的收入多10%。因為A可以對優(yōu)質(zhì)商品收取稍高的價格，而土地上的產(chǎn)量和運輸距離是有限制的。但是，如果軟件應(yīng)用開發(fā)者C比開發(fā)者D優(yōu)秀10%，那么C的軟件最終可能會占據(jù)全球市場的99%。人工智能加快了技術(shù)創(chuàng)新的步伐，從而推動了這一整體趨勢，但人工智能也讓我們休息一會兒，用自動化代理處理一些事情。蒂姆·菲利斯（TimFerriss）（Ferriss,2007）建議利用自動化和外包來達到每周4小時的工作時間。人都是這樣做的。工作有3個目的：促進社會需要的商品的生產(chǎn)；提供自動化程度的提高，這3個目的可能分化了——社會的部分需求通過自所得稅抵免、負所得稅和普遍基本收入。機器人權(quán)利27.2節(jié)中討論的機器人意識問題，對于機器人該享受哪些權(quán)利（如果有的話）這一問題十分重要。如果它們沒有任何意識、任何感受，那么沒有人會討論它們是否應(yīng)該得享有權(quán)利。但如果機器人能感到疼痛，如果它們懼怕死亡，如果它們被認為是“人”，那么就會提出這樣的論點，如斯帕羅（Sparrow, 2004）提的，他們有權(quán)利且他們的權(quán)利應(yīng)當被承認，就像奴隸、女性及其他歷史上受壓迫群體通過抗爭獲取自己的權(quán)利一樣。虛構(gòu)類文學作品中經(jīng)常考慮機器人人格的問題：從皮格馬利翁到葛佩莉亞，再到匹諾曹，再到電娃/機器人獲得命，并努力被接受為一個有人權(quán)的人的傳說。在現(xiàn)實生活中，索菲亞被正式授予沙特阿拉伯公民榮譽身份的報道登上了頭條新聞，索菲亞是一個長得像人的木偶 能夠說事先編排好的臺詞如果機器人擁有權(quán)利，那它們就不應(yīng)該被奴役，那么就出現(xiàn)一個問題，對它們重新編程是否是某種形式的奴役呢？另一倫理問題涉及選舉權(quán)：富人可以購買上千個機器人，并編程讓它們投出上千張選票，那么這些選票是否算數(shù)呢？如果一個機器人克隆了它自己，那它們可以都投票嗎？選票舞弊和形式自由意志之間的界限在哪？機器人投票何時會違反“一人一票”原則呢？為逃避機器人意識這一困境，厄尼·戴維斯（ErnieDavis）主張永遠不要造出可能被認為有意識的機器人。約瑟夫·維森鮑姆在1976年出版的ComputerPowerandHumanReason（Weizenbaum，1976）一書中曾提出過這一論點，而在此之前，朱利安·德·拉梅特麗（Julien de LaMettrie）在《人是機器》（L’Homme 一書中也提出過這一論點。機器人是我們創(chuàng)造出來用以完成我們指令的工具，如果我們授予它們?nèi)烁?，我們其實只是拒絕為自己財產(chǎn)的行為負責：“我的自動駕駛汽車的車禍不是我的錯，是汽車自己造成的。”我們已經(jīng)通過隱形眼鏡、起搏器和人工髖關(guān)節(jié)等技術(shù)增強了人類。但是，計算概念的加入可能會模糊人和機器之間的界限。人工智能安全性幾乎所有的技術(shù)在被不當使用的情況下都可能造成傷害，但人工智能和機器人可以自我操縱。無數(shù)科幻小說故事都警告過機器人或半人半機器人的瘋狂行為。早期的例子包括瑪麗·雪萊（Mary Shelley）的《蘭肯斯坦》（Frankenstein,ortheModernPrometheus）（Shelley,1818）和卡雷爾·恰佩克（Karel ˇCapek）的戲劇R.U.R.（1920），在這些作品中機器人征服了世界?！督K結(jié)者》（1984）和《黑客帝國》（1999）這兩部電影都講述了機器人試圖消滅人類的故事。未上映的《機器人啟示錄》（robopocalypse）（Wilson, 2011）也講述了機器人對抗人類的故事?；蛟S是因為機器人就像早期故事里的女巫和幽靈一樣總代表著未知，所以機器人常常扮演反派角色。我們希望如果一個機器人聰明到能終結(jié)人類，那它應(yīng)該也能知道這不是預(yù)期的效用函數(shù)。但在構(gòu)建智能系統(tǒng)時不能依靠希望，還要依靠有安全保障的設(shè)計過程。部署不安全的AI智能體是不道德的。我們要求智能體能避免事故，抵制敵對攻擊和惡意濫用，一般來說，我們希望智能體帶來利益而不是傷害。對部署在安全關(guān)鍵應(yīng)用中的AI智能體來說尤其如此，例如駕駛汽車、在危險工廠或建筑環(huán)境中控制機器人以及做出生死攸關(guān)的醫(yī)療決策等。安全工程（safetyengineering）在傳統(tǒng)工程領(lǐng)域中有著悠久的歷史。我們知道如何通過預(yù)先設(shè)計讓橋梁、飛機、航天器和發(fā)電廠在系統(tǒng)組件出現(xiàn)故障時也能安全運行。第一種技術(shù)是失效模式與效應(yīng)分析（failuremodesandeffectanalysis，F(xiàn)MEA），分析師逐個考慮系統(tǒng)中的每個組件，利用過去的經(jīng)驗并基于組件的物理性質(zhì)進行計算，設(shè)想組件可能的出錯方式（例如，如果這個螺栓折斷會怎么樣？）。然后分析師進一步考慮失敗會帶來什么后果。如果后果很嚴重（如橋梁的一部分可能會倒塌），那么分析師就要改變設(shè)計以減輕故障影響。（有了這個額外的交叉構(gòu)件，任意5個螺栓損壞時橋梁依然不會倒塌；有了這個備份服務(wù)器，在主服務(wù)器被海嘯摧毀時在線服務(wù)依然可以運轉(zhuǎn)。）故障樹分析（faulttreeanalysis，F(xiàn)TA）技術(shù)用于做出這類決策：分析人員對可能的故障建立一個與或故障樹，并為每個根原因分配概率，這樣就可以計算總體故障概率。這些技術(shù)可用于且應(yīng)該用于所有安全關(guān)鍵的工程系統(tǒng)，包括人工智能系統(tǒng)。軟件工程領(lǐng)域的目標是生產(chǎn)可靠的軟件，但其重點一直都是正確性，而非安全性。正確性意味著軟件只需要忠實地執(zhí)行規(guī)范，但安全性的要求遠不止于此，它要求規(guī)范考慮所有已存在的故障模式，并通過設(shè)計使得在面對不曾預(yù)見的故障時也能優(yōu)雅地降級故障。例如，除非自動駕駛汽車軟件能處理異常情況，否則不會被認為是安全的。例如，如果主計算機的電源斷了怎么辦？一個安全的系統(tǒng)會有一個帶獨立電源的備用計算機。如果高速行駛時輪胎被刺破怎么辦？一個安全的系統(tǒng)將對此進行測試，并將有軟件來糾正由此造成的失控。為最大化效用或?qū)崿F(xiàn)目標而設(shè)計的智能體，如果其目標函數(shù)錯誤，智能體可能變得不安全。假設(shè)我們讓機器人去廚房取咖啡，可能會遇到一些意外的副作用（unintendedsideeffect），機器人可能因急于完成目標而撞倒沿途的燈和桌子。在測試中，我們可能會注意到這種行為，并修改效用函數(shù)懲罰此類損害，但設(shè)計人員和測試人員很難提前預(yù)測所有可能的副作用。一種解決方式是設(shè)計低影響（lowimpact）（ArmstrongandLevinstein,2017）用與狀態(tài)所有變化的加權(quán)和之間的差。這樣，在其他所有條件相同時，機器人不愿改變對效用的影響是未知的事物。之所以它避免碰倒臺燈，并不是因為它明確知道碰倒臺燈會導(dǎo)致其跌落破裂，而是因為它知道普遍來看擾動結(jié)果是不好的。這可以看作醫(yī)學生信條“首先，不要傷害”的一種版本，也可以類比機器學習中的正則化：我們想要一個能實現(xiàn)目標的策略，但我們更喜歡那些采取平穩(wěn)、低影響行動以實現(xiàn)目標的策略。關(guān)鍵在于如何衡量影響。碰倒易碎的燈是不能接受的，但如果只是房間里的空氣分子受到一點擾動，或者房間里的一些細菌無意中被殺死，那是完全沒問題的。當然傷害房間里的寵物和人是絕對不能接受的。我們需要綜合運用顯式編程、機器學習和嚴格測試等手段，確保機器人明白這些情況（以及這其中許多微妙的情況）間的區(qū)別。效用函數(shù)可能會因為外部性而出錯，外部性是經(jīng)濟學家們用于指那些超出衡量和支付范圍的因素。如果溫室氣體被視為外部性，世界就會遭受損失——制造溫室氣體的公司和國家不會受到懲罰，結(jié)果就是每個人都遭受損失。生態(tài)學家加勒特?哈?。℅arrett 1968）將對共享資源的開發(fā)稱為公地悲劇。我們可以通過內(nèi)化外部性來減輕這一悲劇，即將它們作為效用函數(shù)的一部分，例如征收碳稅，或使用被經(jīng)濟學家埃莉諾·奧斯特羅姆（ElinorOstrom）認為已經(jīng)被世界各地的人們使用了幾個世紀的如下設(shè)計原則（2009年她憑此工作獲得諾貝爾經(jīng)濟學獎）。明確定義共享資源及誰有訪問權(quán)限。因地制宜。允許各方參與決策。用可靠的監(jiān)控監(jiān)視資源。根據(jù)違反行為的嚴重性施加制裁。簡單沖突解決程序。對大型共享資源施行多級控制。維多利亞·克拉科夫娜（VictoriaKrakovna）（Krakovna,2018）列舉了幾個AI智能體示例，這些智能體在不解決設(shè)計者想解決的問題的情況下，戲弄了系統(tǒng)，找出了最大化效用的方法。對設(shè)計者來說這看起來像作弊，但對智能體來說，它們只是完成自己的工作。一些智能體能利用模擬中的錯誤（例如浮點溢出錯誤）提出解決方案，這樣的解決方案在錯誤修復(fù)后就無法運作。有幾個智能體在視頻游戲中發(fā)現(xiàn)了在將要輸?shù)粲螒虻臅r候讓游戲崩潰或暫停的方法，從而規(guī)避懲罰。在對游戲崩潰進行懲罰的規(guī)則中，一個智能體學會了恰好用盡內(nèi)存，這樣在輪到對手的時候，它就會因耗盡內(nèi)存而使游戲崩潰。最后，一個在模擬世界中運行的遺傳算法本應(yīng)進化出能快速移動的生物，但實際產(chǎn)生的生物個子非常高，而且是通過摔倒的方式快速移動。智能體的設(shè)計者應(yīng)該要意識到這類規(guī)則失敗，并采取措施避免這些失敗。為幫助他們做到這一點，克拉科夫娜團隊發(fā)布了人工智能安全網(wǎng)格世界環(huán)境（Leikeetal.,2017），設(shè)計者可以在這個環(huán)境中測試他們的智能體的表現(xiàn)。這個道理告訴我們，我們需要非常仔細地去明確我們要什么，因為效用最大化能讓我們得到我們真正要求的東西。價值對齊問題（valuealignment problem）是指確保我們所要求的是我們真正想要的，這也稱為邁達斯王問題，在1.1.5節(jié)我們曾討論過。當效用函數(shù)無法理解背景社會中關(guān)于可接受行為的規(guī)范時，我們就會遇到麻煩。例如，一個被雇來打掃地板的人在面對一個