1.1.3 無監督生成模型

根據前兩節內容可知，生成模型意味著對輸入特征X和標簽信息Y的聯合分布進行建模，無監督學習意味著不存在標簽信息，所以無監督生成模型是對輸入特征X的概率密度函數p（X）建模。假設存在一個由N個訓練樣本{x（1）,x（2）,…,x（N）}構成的訓練集（N足夠大），則可以使用訓練集訓練一個概率模型（X），訓練完成后，概率模型（X）應接近于X的概率密度函數p（X），接著我們就可以從概率模型（X）中采樣來“生成”高質量的樣本了。

無監督生成模型是近些年深度學習的熱門方向，其具有較長的發展歷史［2］。在經典的統計機器學習中，對生成模型的主要問題——概率密度函數的估計有著豐富的討論。概率密度函數的估計方法主要分為參數估計和非參數估計。參數估計通常對研究的問題已知某種數學模型（例如混合高斯分布、伯努利分布等），然后利用樣本估計模型中的未知參數，常用的估計方法有極大似然估計、貝葉斯估計、最大后驗估計等；非參數估計對數學模型沒有先驗知識，直接使用樣本估計數學模型，常見的方法有直方圖估計、核概率密度估計（Parzen窗）、k近鄰估計等。

同樣地，基于神經網絡方法的生成模型也已被研究許久，例如20世紀80年代Hinton已經使用玻爾茲曼機［3］學習二值向量的任意概率分布。截至目前，已經涌現出許多非常優秀的深度生成模型，例如深度信念網絡［4］、神經自回歸網絡［5-6］、深度玻爾茲曼機［7］、流模型等，其中2013年提出的變分自編碼器模型和2014年提出的生成對抗網絡是里面最優秀的兩個代表。需要說明的是，包括生成對抗網絡在內的大多數深度生成模型仍屬于參數估計的范疇，即使用樣本估計神經網絡模型的權重參數。

生成模型的研究對人工智能技術的發展具有重要的意義。它不僅可以產生逼真的圖像、視頻、文本或語音等，在圖像轉換、超分辨率圖像、目標檢測、文本轉圖像等領域也取得了滿意的效果。生成模型和強化學習、半監督學習、多模輸出問題等均有密切聯系，另外，生成模型的訓練和采樣是對我們表達和處理高維概率分布問題能力的非常好的測試。本書將圍繞生成對抗網絡展開。