為了詳細說明這種擔心，我們暫且回到享樂結果主義的例子中。假設這種道德理論是正確的，并且人工智能也知道這個理論是正確的。在這里，我們暫且把享樂結果主義定義為：當且僅當在一系列可能的行為中，有一個行為產生的快樂大于痛苦的程度比其他任何行為都高，這個行為就是道德上正確的（且是道德上允許的）。

不管是實施MR方案還是MP方案，我們都會因此冒著為了更大的善而犧牲自己生命的危險。這個犧牲可能比你想的...