我們已經(jīng)看到，超級智能可以擁有極大的根據(jù)自己的目標(biāo)塑造未來的能力。

但是，它的目標(biāo)會是怎樣的？一個(gè)人工智能體的智能與動機(jī)之間是什么關(guān)系？這里我們設(shè)想了兩種論點(diǎn)。正交性論點(diǎn)認(rèn)為，智能和最終目標(biāo)是獨(dú)立變量，任何水平的智能都可以搭配任何最終目標(biāo)。工具性趨同論點(diǎn)認(rèn)為，不管超級智能具有一系列最終目標(biāo)中的哪種，都將選擇相似的中間目標(biāo)，因?yàn)樗鼈冇羞@么做的共同工具性理由。通過這兩種論點(diǎn)，我們就可以思考一...