雨來不躲提示您：看後求收藏（奇妙書庫www.qmshu.tw），接著再看更方便。
，比如終結衰老、永生、大宇宙殖民”
“諸如此類看似僅存在與科幻世界中卻又同時符合物理定律的元素，超級智慧有辦法去開發出這些東西，並且比人類更快更高效，我們人類需要1ooo年完成一件發明，超級ai也許只用1個小時，甚至更短，這就是被縮短的未來。”
“假如現在有一個如此成熟科技的超級智慧體，它的強大將是人類難以想象的，通常情況下它能得到它想要得到的任何東西，我們人類的未來將會被這個超級ai的喜好所主宰。”
“那麼問題來了，它的喜好是什麼呢？”
“這個問題很棘手也很嚴肅，要在這個領域取得進步，比如一種辦法認為我們必須避免將超級ai人格化，堵還是疏，有種見仁見智的味道。”
“這個問題很諷刺，因為每一個關於人工智慧的未來的新聞報道或與之相關的話題，包括我們正在進行的話題在明天的新聞中，可能都會貼上好萊塢科幻電影終結者的海報作為標籤，機器人對抗人類（聳聳肩，場下一陣鬨笑）。”
“所以，我個人認為我們應該用更加抽象的方式去表達這個問題，而不是好萊塢電影的敘事之下機器人起身對抗人類、戰爭等諸如此類，這太片面了。”
“我們應當把超級ai抽象的看成是一個最佳化的過程，像程式設計師對程式的最佳化，這樣的一個過程。”
“超級ai或者說超級智慧體是一個非常強大的最佳化過程，它非常擅長利用資源來達到最終的目標，這意味擁有高智慧和擁有一個對人類來說有用的目標之間並沒有必然的聯絡。”
“如果不太好理解這句話那就舉幾個例子：假如我們賦予人工智慧的任務是讓人笑，我們現在的家庭機器助手等機器人可能會做出滑稽好笑的表演逗人笑，這是典型的弱人工智慧的行為。”
“而當賦予該任務的人工智慧是一個超級智慧體，超級ai的時候，它就會意識到有一個更好的辦法能夠達到這個效果或者說完成任務：它可能控制世界，並在所有人類的面部肌肉上插入電極讓人類不斷地笑。”
“又比如這個超級ai的任務是保護主人的安全，那麼它會選擇更優的處理方法，它會把主人囚禁在家中不讓出門就能更好的保護主人的安全。在家裡可能還是有危險的，它還會考慮到各種可能威脅並導致任務失敗的因素，並將其逐一抹除，消滅對主人帶有惡意的一切因素、甚至控制世界，這一切的一切行為都是為了任務不失敗，它將做到最極致的最佳化選擇併為此付諸行動來達到任務完成的目的。”
“再比如，假設我們賦予這個超級ai的任務目標是解答一個極度苦難的數學問題，它會意識到有一個更有效的辦法來完成任務目標，那就是把整個世界、整個地球乃至更誇張的尺度變成一個超大型計算機，這樣它的運算能力就更強大了，完成任務目標就更容易了。而且它會意識到這個辦法並不會被我們認可，人類會阻止，人類就是在這個模式中的潛在威脅，為此它會為了最終目標解決一切阻礙，包括人類，任何事務，比如策劃一些次一級的計劃消滅人類等行為。”
“當然了，這些都是誇張的描述，我們遇見這種事情還不會錯到這樣的地步，但以上三個誇張的例子所代表的主旨很重要，即：如果你創造了一個非常強大的最佳化程式來實現最大化目標，你必須要保證你的意義上的目標和包括所有你在乎的事情要精確。如果你創造出了一個強大的最佳化過程，並給予它一個錯誤的或者不精確的目標，後果就可能像是上面的例子。”
“有人可能會說了，如果一個‘電腦’開始在人臉上插上電極，我們可以關掉電腦。實際上，這絕對不是一件容易的事情，如果我們非常依賴這個系統，比如我們依賴的網際網路，你知道網際網路的開關在哪裡嗎？”
“所以肯定是有理由的，我們人類是聰明以遇見到威脅並嘗試避免，同樣的道理比我們更聰明的超級ai就更不用說了，它只會做的比我們更出色。”
“在這個問題上，我們不應該十足自信的表示我們能夠掌控一切。”
“那麼把這個問題簡單化的表達，比如我們把人工智慧放入一個小盒子裡，製造一個保險的軟體環境，比如一個它無法逃脫的虛擬現實模擬器。”
“但是，我們真的有十足的信心和把握它不可能會發現一個漏洞，一個能夠讓他逃脫的漏洞嗎？”
“就連我們人類駭客每時每刻都能發現網路漏洞。”
“也許會說，我不是很有信心確保超級ai會不會發現漏洞並逃脫
