一個很突出的問題是如何賦予人工智能一個像“將在信封中描述的價值觀之實(shí)現(xiàn)最大化”這樣的目標(biāo)。（在上述延伸閱讀的術(shù)語中，是如何定義標(biāo)準(zhǔn)ν的問題）要這樣做的話，就需要識別出價值觀在哪里被描述。在我們的例子里，這要求成功地參考信封里的信。雖然這看起來似乎很微不足道，但并不是就沒有陷阱。就提其中一個吧：那個參考不僅是簡單地指向一個特定的外部物體，也是在某個特定時間內(nèi)的物體，這一點(diǎn)很關(guān)鍵。否則，人工智能可能會...