有（至少）兩個地方可能會出現(xiàn)問題。首先，具有超級智能特征的搜索過程找到的解決方案可能不僅是預(yù)料之外的，而且是極度違背設(shè)計(jì)意圖的。這可能會導(dǎo)致我們之前討論過的一些失敗類型（反常目標(biāo)實(shí)現(xiàn)方式、基礎(chǔ)設(shè)施過量，或者意識犯罪）。如果超級智能的類型是主權(quán)或者精靈，這時(shí)候我們最容易看到這種失敗模式的產(chǎn)生，因?yàn)橹鳈?quán)或精靈會直接將它發(fā)現(xiàn)的解決方案付諸實(shí)踐。如果主權(quán)或精靈發(fā)現(xiàn)的第一個能夠符合標(biāo)準(zhǔn)的答案是，制造分子笑臉...