1.3.4 難以監督

對AI進行有效監督是困難的。受限于人類有限的注意力和能力，反饋往往不可避免地帶有某種偏見，這使得建模過程復雜化。這種困難源于人類的不完美性，導致在監督高級的AI系統時無法面面俱到。

人類錯誤可能由多種因素引起，包括缺乏對任務的興趣、注意力分散、時間限制或固有的人類偏見等，這些因素都可能導致認知偏見和常見誤解，從而影響反饋的質量。隨著大模型的能力日益增強，人類評估者愈發傾向于將任務外包給聊天機器人，這種做法破壞了人類監督的初衷。

即使在擁有充足的信息和時間的情況下，人類在評估復雜任務時也可能提供低質量的反饋。將RLHF應用于超出人類控制能力范圍的模型時，這個問題會變得更加明顯。

依靠單一獎勵模型來代表多元化的人類社會是存在缺陷的。RLHF通常被設計為讓AI系統與個人偏好對齊的解決方案，然而人們在偏好、專業知識和能力方面的差異很大，評估者之間也常常存在分歧。如果忽視了這些差異，試圖將來自不同人的反饋簡化為單一獎勵模型，可能會導致出現根本性的錯誤。目前的技術將評估者之間的差異視為噪聲而非重要的分歧，這可能在偏好不一致時導致多數意見占優勢，從而可能會對少數代表性群體造成不利影響。

綜上所述，大模型技術是把雙刃劍，我們需要正視以ChatGPT為代表的大模型技術帶來的機遇與挑戰，并謹慎應對。當前面臨的挑戰并不預示著大模型的終結，相反，人們對這些困境和局限性的深入了解，會為大模型未來的發展奠定基礎。大模型仍然有巨大的潛力，等待我們去探索。