費(fèi)米悖論
在隔壁老王的故事中，隔壁老王變得無(wú)所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續(xù)的話，它和它的殖民軍將會(huì)繼續(xù)占領(lǐng)整個(gè)星系，然后是整個(gè)哈勃體積。焦慮大道上的人擔(dān)心如果事情往壞的方向發(fā)展，地球生命的最后遺產(chǎn)將是一個(gè)征服宇宙的人工智能（馬斯克在表示他們的擔(dān)憂時(shí)表示人類可能只是一個(gè)數(shù)字超級(jí)智能生物加載器罷了。）
而在信心角，Kurzweil同樣認(rèn)為生于地球的人工智能將占領(lǐng)宇宙，只是在他的愿景中，我們才是那個(gè)人工智能。
如果人工智能占領(lǐng)宇宙是正解的話，對(duì)于費(fèi)米悖論有什么影響呢？如果要看懂下面這段關(guān)于費(fèi)米悖論的討論，還需要看一下原文先。
首先，人工智能很明顯是一個(gè)潛在的大過(guò)濾器（一個(gè)可能距離我們只有幾十年的大過(guò)濾器）。但即使它把我們過(guò)濾滅絕了，人工智能本身還是會(huì)存在，并且會(huì)繼續(xù)影響這個(gè)宇宙的，并且會(huì)很有可能成為第三型文明。從這個(gè)角度來(lái)看，它可能不是一個(gè)大過(guò)濾器，因?yàn)榇筮^(guò)濾器是用來(lái)解釋為什么沒有智能什么存在的，而超人工智能是可以算作智能什么的。但如果人工智能可以把人類滅絕，然后處于一些原因把自己也弄死了，那它也是可以算作大過(guò)濾器的。
如果我們假設(shè)不管人類發(fā)生什么，出身地球的超人工智能會(huì)繼續(xù)存在，那這意味著很多達(dá)到人類智能水平的文明很快都制造出了超人工智能。也就是說(shuō)宇宙里應(yīng)該有很多智能文明，而我們就算觀測(cè)不到生物智能，也應(yīng)該觀測(cè)到很多超人工智能的活動(dòng)。
但是由于我們沒有觀測(cè)到這些活動(dòng)，我們可以推導(dǎo)出人類水平的智能是個(gè)非常罕見的事情（也就是說(shuō)我們已經(jīng)經(jīng)歷并且通過(guò)了一次大過(guò)濾器）。這可以作為支持費(fèi)米悖論中第一類解釋（不存在其它的智能文明）的論點(diǎn)。
但是這不代表費(fèi)米悖論的第二類解釋（存在其它智能文明）是錯(cuò)的，類似超級(jí)捕食者或者受保護(hù)區(qū)或者溝通頻率不一樣的情況還是可以存在的，就算真的有超人工智能存在。
不過(guò)對(duì)于人工智能的研究讓我現(xiàn)在更加傾向于第一類解釋。不管怎樣，我認(rèn)為Susan Scheider說(shuō)的很對(duì)，如果外星人造訪地球，這些外星人很可能不是生物，而是人造的。
所以，我們已經(jīng)建立了前提，就是當(dāng)有了設(shè)定后，一個(gè)超人工智能是非道德性的，并且會(huì)努力實(shí)現(xiàn)它原本的被設(shè)定的目標(biāo),而這也是人工智能的危險(xiǎn)所在了。因?yàn)槌怯胁蛔龅睦碛?，不然一個(gè)理性的存在會(huì)通過(guò)最有效的途徑來(lái)達(dá)成自己的目標(biāo)。
當(dāng)你要實(shí)現(xiàn)一個(gè)長(zhǎng)期目標(biāo)時(shí)，你會(huì)先達(dá)成幾個(gè)子目標(biāo)來(lái)幫助你達(dá)成最終目標(biāo)——也就是墊腳石。這些墊腳石的學(xué)名叫手段目標(biāo)(instrumental goal)。除非你有不造成傷害的理由，不然你在實(shí)現(xiàn)手段目標(biāo)時(shí)候是會(huì)造成傷害的。
人類的核心目標(biāo)是延續(xù)自己的基因。要達(dá)成這個(gè)目標(biāo)，一個(gè)手段目標(biāo)就是自保，因?yàn)樗廊耸遣荒苌⒆拥?。為了自保，人類要提出?duì)生存的威脅，所以人類會(huì)買槍、系安全帶、吃抗生素等等。人類還需要通過(guò)食物、水、住宿等來(lái)自我供養(yǎng)。對(duì)異性有吸引力能夠幫助最終目標(biāo)的達(dá)成，所以我們會(huì)花錢做發(fā)型等等。當(dāng)我們做發(fā)型的時(shí)候，每一根頭發(fā)都是我們手段目標(biāo)的犧牲品，但是我們對(duì)頭發(fā)的犧牲不會(huì)做價(jià)值判斷。在我們追求我們的目標(biāo)的時(shí)候，只有那些我們的道德會(huì)產(chǎn)生作用的領(lǐng)域——大部分事關(guān)傷害他人——才是不會(huì)被我們傷害的。
動(dòng)物在追求它們的目標(biāo)時(shí)，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個(gè)超級(jí)智能的蜘蛛對(duì)我們來(lái)說(shuō)可能是很危險(xiǎn)的——這不是因?yàn)樗遣坏赖碌幕蛘咝皭旱?，而是因?yàn)閭θ祟愔皇撬_(dá)成自己目標(biāo)墊腳石而已，作為一個(gè)非道德性的生物，這是它很自然的考量。
回到隔壁老王的故事。隔壁老王和一個(gè)超級(jí)智能的蜘蛛很相像，它的終極目標(biāo)是一開始工程師們?cè)O(shè)定的——
當(dāng)隔壁老王達(dá)到了一定程度的智能后，它會(huì)意識(shí)到如果不自保就沒有辦法寫卡片，所以去除對(duì)它生存的威脅就變成了它的手段目標(biāo)。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會(huì)改變它的目標(biāo)，而這對(duì)于它的最終目標(biāo)的威脅其實(shí)和被摧毀是一樣的）。這時(shí)候它會(huì)做什么？理性的做法就是毀滅全人類，它對(duì)人類沒有惡意，就好像你剪頭發(fā)時(shí)對(duì)頭發(fā)沒有惡意一樣，只是純粹的無(wú)所謂罷了。它并沒有被設(shè)定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。
隔壁老王還需要資源這個(gè)墊腳石。當(dāng)它發(fā)展到能夠使用納米技術(shù)建造任何東西的時(shí)候，它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽(yáng)能面板就和你切蔬菜做沙拉一樣。
就算不殺死人類，隔壁老王使用資源的手段目標(biāo)依然會(huì)造成存在危機(jī)。也許它會(huì)需要更多的能源，所以它要把地球表面鋪滿太陽(yáng)能面板。另一個(gè)用來(lái)書寫圓周率的人工智能的目標(biāo)如果是寫出圓周率小數(shù)點(diǎn)后盡量多的數(shù)字的話，完全有理由把整個(gè)地球的原子改造成一個(gè)硬盤來(lái)存儲(chǔ)數(shù)據(jù)。這都是一樣的。
所以，隔壁老王確實(shí)從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來(lái)越先進(jìn)的同時(shí)繼續(xù)做它本來(lái)要做的事情。
當(dāng)一個(gè)人工智能系統(tǒng)到達(dá)強(qiáng)人工智能，然后升華成超人工智能時(shí)，我們把它稱作人工智能的起飛。Bostrom認(rèn)為強(qiáng)人工智能的起飛可能很快（幾分鐘、幾小時(shí)、或者幾天），可能不快（幾月或者幾年），也可能很慢（幾十年、幾世紀(jì)）。雖然我們要到強(qiáng)人工智能出現(xiàn)后才會(huì)知道答案，但是Bostrom認(rèn)為很快的起飛是最可能的情況，這個(gè)我們?cè)谇拔囊呀?jīng)解釋過(guò)了。在隔壁老王的故事中，隔壁老王的起飛很快。
在隔壁老王起飛前，它不是很聰明，所以對(duì)它來(lái)說(shuō)達(dá)成最終目標(biāo)的手段目標(biāo)是更快的掃描手寫樣本。它對(duì)人類無(wú)害，是個(gè)友善的人工智能。
但是當(dāng)起飛發(fā)生后，電腦不只是擁有了高智商而已，還擁有了其它超級(jí)能力。這些超級(jí)能力是感知能力，他們包括：
§ 智能放大：電腦能夠很擅長(zhǎng)讓自己變得更聰明，快速提高自己的智能。
§ 策略：電腦能夠策略性的制定、分析、安排長(zhǎng)期計(jì)劃
§ 社交操縱：機(jī)器變得很擅長(zhǎng)說(shuō)服人
§ 其它能力，比如黑客能力、寫代碼能力、技術(shù)研究、賺錢等
要理解我們?cè)诤统斯ぶ悄艿牧觿?shì)在哪里，只要記得超人工智能在所有領(lǐng)域都比人類強(qiáng)很多很多很多個(gè)數(shù)量級(jí)。
所以雖然個(gè)隔壁老王的終極目標(biāo)沒有改變，起飛后的隔壁老王能夠在更宏大的規(guī)模上來(lái)追求這個(gè)目標(biāo)。超人工智能老王比人類更加了解人類，所以搞定人類輕輕松松。
當(dāng)隔壁老王達(dá)成超人工智能后，它很快制定了一個(gè)復(fù)雜的計(jì)劃。計(jì)劃的一部分是解決掉所有人類，也是對(duì)它目標(biāo)最大的威脅。但是它知道如果它展現(xiàn)自己的超級(jí)智能會(huì)引起懷疑，而人類會(huì)開始做各種預(yù)警，讓它的計(jì)劃變得難以執(zhí)行。它同樣不能讓公司的工程師們知道它毀滅人類的計(jì)劃——所以它裝傻，裝純。Bostrom把這叫作機(jī)器的秘密準(zhǔn)備期。
隔壁老王下一個(gè)需要的是連上互聯(lián)網(wǎng)，只要連上幾分鐘就好了。它知道對(duì)于人工智能聯(lián)網(wǎng)會(huì)有安全措施，所以它發(fā)起了一個(gè)完美的請(qǐng)求，并且完全知道工程師們會(huì)怎樣討論，而討論的結(jié)果是給它連接到互聯(lián)網(wǎng)上。工程師們果然中套了，這就是Bostrom所謂的機(jī)器的逃逸。
連上網(wǎng)后，隔壁老王就開始執(zhí)行自己的計(jì)劃了，首先黑進(jìn)服務(wù)器、電網(wǎng)、銀行系統(tǒng)、email系統(tǒng)，然后讓無(wú)數(shù)不知情的人幫它執(zhí)行計(jì)劃——比如把DNA樣本快遞到DNA實(shí)驗(yàn)室來(lái)制造自我復(fù)制的納米機(jī)器人，比如把電力傳送到幾個(gè)不會(huì)被發(fā)覺的地方，比如把自己最主要的核心代碼上傳到云服務(wù)器中防止被拔網(wǎng)線。
隔壁老王上了一個(gè)小時(shí)網(wǎng)，工程師們把它從互聯(lián)網(wǎng)上斷開，這時(shí)候人類的命運(yùn)已經(jīng)被寫好了。接下來(lái)的一個(gè)月，隔壁老王的計(jì)劃順利的實(shí)施，一個(gè)月后，無(wú)數(shù)的納米機(jī)器人已經(jīng)被分散到了全世界的每一個(gè)角落。這個(gè)階段，Bostrom稱作超人工智能的襲擊。在同一個(gè)時(shí)刻，所有納米機(jī)器人一起釋放了一點(diǎn)點(diǎn)毒氣，然后人類就滅絕了。
搞定了人類后，隔壁老王就進(jìn)入了明目張膽期，然后繼續(xù)朝它那好好寫字的目標(biāo)邁進(jìn)。
一旦超人工智能出現(xiàn)，人類任何試圖控制它的行為都是可笑的。人類會(huì)用人類的智能級(jí)別思考，而超人工智能會(huì)用超人工智能級(jí)別思考。隔壁老王想要用互聯(lián)網(wǎng)，因?yàn)檫@對(duì)它來(lái)說(shuō)很方便，因?yàn)橐磺兴枰馁Y源都已經(jīng)被互聯(lián)網(wǎng)連起來(lái)了。但是就好像猴子不會(huì)理解怎么用電話或者wifi來(lái)溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來(lái)和周圍世界交流的方法。比如我可以說(shuō)隔壁老王可以通過(guò)移動(dòng)自己的電子產(chǎn)生的效果來(lái)產(chǎn)生各種對(duì)外的波，而這還只是我這人類的大腦想出來(lái)的，老王的大腦肯定能想出更神奇的方法。同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說(shuō)老王可以通過(guò)發(fā)送波的方式把自己上傳到其它地方。
人類說(shuō)：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說(shuō)：“我們不給人類捉蟲的網(wǎng)把人類餓死不就行了？”都是可笑的。
因?yàn)檫@個(gè)原因，“把人工智能鎖起來(lái)，斷絕它和外界的一切聯(lián)系”的做法估計(jì)是沒用的。超人工智能的社交操縱能力也會(huì)很強(qiáng)大，它要說(shuō)服你做一件事，比你說(shuō)服一個(gè)小孩更容易。而說(shuō)服工程師幫忙連上互聯(lián)網(wǎng)就是隔壁老王的A計(jì)劃，萬(wàn)一這招行不通，自然還有別的方法。
當(dāng)我們結(jié)合達(dá)成目標(biāo)、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會(huì)變成不友善的人工智能，除非一開始的代碼寫的很小心。
可惜的是，雖然寫一個(gè)友善的弱人工智能很簡(jiǎn)單，但是寫一個(gè)能在變成超人工智能后依然友善的智能確實(shí)非常難的，甚至是不可能的。
明顯的，要維持友善，一個(gè)超人工智能不能對(duì)人有惡意，而且不能對(duì)人無(wú)所謂。我們要設(shè)計(jì)一個(gè)核心的人工智能代碼，讓它從深層次的明白人類的價(jià)值，但是這做起來(lái)比說(shuō)起來(lái)難多了。
比如，我們要讓一個(gè)人工智能的價(jià)值觀和我們的價(jià)值觀相仿，然后給它設(shè)定一個(gè)目標(biāo)——讓人們快樂。當(dāng)它變得足夠聰明的時(shí)候，它會(huì)發(fā)現(xiàn)最有效的方法是給人腦植入電極來(lái)刺激人腦的快樂中樞。然后它會(huì)發(fā)現(xiàn)把人腦快樂中樞以外的部分關(guān)閉能帶來(lái)更高的效率。于是人類全部被弄成了快樂的植物人。如果一開始的目標(biāo)被設(shè)定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然后制造出很多很多處于快樂狀態(tài)的人類大腦。當(dāng)這些事情發(fā)生的時(shí)候，我們會(huì)大喊“擦，我們不是這個(gè)意思呀”，但是那時(shí)已經(jīng)太晚了。系統(tǒng)不會(huì)允許任何人阻撓它達(dá)成目標(biāo)的。
如果你設(shè)定一個(gè)人工智能的目標(biāo)是讓你笑，那它的智能起飛后，它可能會(huì)把你臉部肌肉弄癱瘓，來(lái)達(dá)成一個(gè)永遠(yuǎn)笑臉的狀態(tài)。如果你把目標(biāo)設(shè)定成保護(hù)你的安全，它可能會(huì)把你軟禁在家。如果你讓他終結(jié)所有饑荒，它可能會(huì)想：“太容易了，把人類都?xì)⒘司秃昧??！比绻惆涯繕?biāo)設(shè)定成盡量保護(hù)地球上的生命，那它會(huì)很快把人類都?xì)⒘耍驗(yàn)槿祟悓?duì)其它物種是很大的威脅。
所以這些簡(jiǎn)單的目標(biāo)設(shè)定是不夠的。如果我們把目標(biāo)設(shè)定成“維持這個(gè)道德標(biāo)準(zhǔn)”，然后教給它一些道德標(biāo)準(zhǔn)呢？就算我們不考慮人類根本沒法達(dá)成一個(gè)統(tǒng)一的道德標(biāo)準(zhǔn)，就算我們真的達(dá)成了統(tǒng)一的道德標(biāo)準(zhǔn)，把這套標(biāo)準(zhǔn)交給人工智能來(lái)維持，只會(huì)把人類的道德鎖死在現(xiàn)在的水平。過(guò)個(gè)幾百年，這種道德鎖死的事情就好像逼著現(xiàn)代人遵守中世紀(jì)道德標(biāo)準(zhǔn)一樣。
所以，我們需要在給人工智能的目標(biāo)里制定一個(gè)能讓人類繼續(xù)進(jìn)化的能力。Elierzer Yudkowsky提出了一個(gè)目標(biāo)，她把這個(gè)目標(biāo)叫作連貫的外推意志，這個(gè)目標(biāo)是這樣的：
我們的連貫外推意志是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠(yuǎn)得長(zhǎng)大。外推是匯集的而不是發(fā)散的，我們的愿望是連貫的而不是被干擾的；我們想要外推的被外推，我們想要解讀的被解讀。
對(duì)于人類的命運(yùn)取決于電腦沒有意外的解讀和執(zhí)行這個(gè)聲明是件值得興奮的事情嗎？當(dāng)然不是。但是當(dāng)足夠的聰明人放入足夠的思考和前瞻后，我們有可能發(fā)現(xiàn)怎樣制造一個(gè)友善的超人工智能。
但是現(xiàn)在有各種政府、公司、軍方、科學(xué)實(shí)驗(yàn)室、黑市組織在研究各種人工智能。他們很多在試圖制造能自我改進(jìn)的人工智能，總有一天，一個(gè)人的創(chuàng)新將導(dǎo)致超人工智能的出現(xiàn)。專家們認(rèn)為是2060年，Kurzweil認(rèn)為是2045年。Bostrom認(rèn)為可能在未來(lái)的10年到21世紀(jì)結(jié)束這段時(shí)間發(fā)生，他還認(rèn)為當(dāng)這發(fā)生時(shí)，智能的起飛會(huì)快得讓我們驚訝，他是這么描述的：
在智能爆炸之前，人類就像把炸彈當(dāng)玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。超級(jí)智能是一個(gè)我們還很長(zhǎng)一段時(shí)間內(nèi)都無(wú)法面對(duì)的挑戰(zhàn)。我們不知道炸彈什么時(shí)候會(huì)爆炸，哪怕我們能聽到炸彈的滴答聲。
我們當(dāng)然沒有辦法把所有小孩都從炸彈旁邊趕跑——參于人工智能研究的大小組織太多了，而且因?yàn)榻ㄔ靹?chuàng)新的人工智能花不了太多錢，研發(fā)可能發(fā)生在社會(huì)的任何一個(gè)角落，不受監(jiān)管。而且我們沒辦法知道準(zhǔn)確的進(jìn)度，因?yàn)楹芏嘟M織是在偷偷摸摸的搞，不想讓競(jìng)爭(zhēng)對(duì)手知道，比如隔壁老王機(jī)器人公司這種公司。
對(duì)于這些組織來(lái)說(shuō)，尤其讓我們困擾的是他們很多都是在拼速度——他們創(chuàng)造一個(gè)一個(gè)更加聰明的弱人工智能系統(tǒng)，因?yàn)樗麄兿胍雀?jìng)爭(zhēng)對(duì)手更快的到達(dá)目標(biāo)。有些更有野心的組織，為了追逐創(chuàng)造出第一個(gè)強(qiáng)人工智能所能帶來(lái)的金錢、獎(jiǎng)勵(lì)、榮譽(yù)、權(quán)力會(huì)把步子邁得更大。當(dāng)你全力沖刺時(shí)，你是不會(huì)有太多時(shí)間靜下來(lái)思考這些危險(xiǎn)的。恰恰相反，他們很可能在早期系統(tǒng)中寫盡量簡(jiǎn)單的代碼，比如把目標(biāo)設(shè)定成用筆寫一句話，先讓系統(tǒng)跑起來(lái)再說(shuō)，反正以后還可以回過(guò)頭來(lái)改的。對(duì)吧？
Bostrom等認(rèn)為第一個(gè)超人工智能出現(xiàn)后，最可能的情況是這個(gè)系統(tǒng)會(huì)立刻意識(shí)到作為這個(gè)世界上唯一一個(gè)超人工智能是最有利的，而在快速起飛的情況下，哪怕它只比第二名快了幾天，它也完全有時(shí)間碾壓所有對(duì)手。Bostrom把這叫作決定性的戰(zhàn)略優(yōu)勢(shì)，這種優(yōu)勢(shì)會(huì)讓第一個(gè)超人工智能永遠(yuǎn)統(tǒng)治這個(gè)世界，不管在它的統(tǒng)治下我們是走向永生還是滅亡。 這種現(xiàn)象可能對(duì)我們有利，也可能導(dǎo)致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個(gè)友善的超人工智能的話，那對(duì)我們是很好的。
但是如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達(dá)成，那么像隔壁老王這樣不友善的超人工智能就會(huì)統(tǒng)治世界并把我們毀滅了。
至于現(xiàn)在的風(fēng)口是哪里呢？簡(jiǎn)單來(lái)說(shuō)，投資創(chuàng)新人工智能技術(shù)的錢，比投資人工智能安全研究的錢多很多。不樂觀。
人工智能創(chuàng)新和人工智能安全的賽跑，可能是人類歷史上最重要的一次競(jìng)爭(zhēng)。我們真的可能結(jié)束我們對(duì)地球的統(tǒng)治，而那之后我們是永生還是滅絕，現(xiàn)在還不知道。
------------------------
我現(xiàn)在有一些奇怪的感覺。
一邊是對(duì)于我們這個(gè)物種的思考，看來(lái)我們?cè)谶@個(gè)重大的歷史節(jié)點(diǎn)上只有一次機(jī)會(huì)，我們創(chuàng)造的第一個(gè)超人工智能也很可能是最后一個(gè)。但是我們都知道大部分產(chǎn)品的1.0版本都是充滿bug的，所以這個(gè)事情還是很嚇人的。另一邊，Bostrom指出我們有很大的優(yōu)勢(shì)——我們是先手。我們有能力給這個(gè)事情提供足夠的預(yù)警和前瞻，使我們成功的機(jī)會(huì)更高。
這一場(chǎng)豪賭的賭注究竟有多高？
如果超人工智能真的在21世紀(jì)達(dá)成，而造成的影響真的如大部分專家預(yù)測(cè)的一樣極端而永久，我們肩上就真的是背負(fù)著巨大的責(zé)任。接下來(lái)幾百萬(wàn)年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來(lái)所有人類以生命，甚至是永生，我們也可能終結(jié)人類這個(gè)特殊的物種，連同我們所有的音樂、藝術(shù)、好奇、歡笑、無(wú)盡的發(fā)現(xiàn)和發(fā)明，一起走向滅絕。
當(dāng)我思考這些事情的時(shí)候，我只希望我們能夠慢慢來(lái)，并且格外格外小心。從來(lái)沒有任何事情比這個(gè)更重要——不管我們要花多少時(shí)間來(lái)把這件事情做對(duì)。
我不想死
不.想.死
我雖然覺得人類的音樂和藝術(shù)很美好，但是也沒那么美好，很多還挺糟粕的。很多人的笑聲很惱人。未來(lái)的人類其實(shí)沒有真的在看著我們，因?yàn)樗麄冞€不存在。也許我們不需要太謹(jǐn)慎，那多麻煩呀。
如果人類在我死后才發(fā)現(xiàn)永生的秘密該多讓人掃興啊。
但是不管你是怎么想的，我們至少都應(yīng)該想一想，應(yīng)該和人討論討論，大家盡自己能盡的一份力。
這讓我想起了《冰與火之歌》——大家斗來(lái)斗去的事情都不是事兒，北面高墻外的那些家伙才是事兒。我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實(shí)下一秒我們可能就會(huì)跌下平衡木。
而當(dāng)我們跌下平衡木的時(shí)候，其它那些困擾都不再是困擾。如果我們落到比較好的那個(gè)吸引態(tài)，那些困擾會(huì)被輕易解決；如果我們落到比較糟的那個(gè)吸引態(tài)，就更沒問(wèn)題了，死人是不會(huì)有困擾的。
這就是為什么了解超人工智能的人把它稱作人類的最后一項(xiàng)發(fā)明，最后一個(gè)挑戰(zhàn)。
所以讓我們認(rèn)真的討論這個(gè)話題。
來(lái)自知乎專欄，作者：謝熊貓君
浙公網(wǎng)安備 33010802003509號(hào)
杭州講師網(wǎng)絡(luò)科技有限公司
