1.3 了解生成對抗網絡

1.3.1 從機器感知到機器創造

機器學習與深度學習在過去幾年取得了重大的突破，尤其是深度學習的發展讓計算機具備了非常強大的感知能力，計算機可以感知物體、識別內容，甚至理解人們說的話。從機器學習到深度學習的不斷發展過程中，機器一直在不停模仿人類的思維方式，希望能像人一樣思考。但僅僅具備感知能力似乎是不夠的，人類思維能力的迷人之處更在于它的創造能力，我們希望計算機能夠自己寫詩、譜曲、作畫、創作藝術作品等。

越來越多的研究者將自己的研究方向從機器感知轉向了機器創造，希望通過生成技術能夠讓計算機具備生成新事物的能力。在生成技術的研究中，本書的主角“生成對抗網絡”應運而生，它不僅打破了人們對傳統生成模型的理解，同時也具備了非常令人滿意的效果。

要了解生成對抗網絡[1]，不得不首先認識一下“生成對抗網絡之父”Ian Goodfellow（見圖1-17，以下簡稱Ian）。Ian本科與研究生在斯坦福大學計算機科學專業就讀，博士時期在蒙特利爾大學研究機器學習，師承深度學習的頂級大師Yoshua Benjo（業界公認他與Geoffrey Hinton、Yann LeCun并列為深度學習領域的“三駕馬車”），而生成對抗網絡正是Ian在蒙特利爾大學博士期間提出的想法。Ian在畢業后先后在Google和OpenAI進行深度學習相關的研究，在此期間對GAN的持續發展做出了非常大的貢獻。

Ian發明生成對抗網絡是出于一個偶然的靈感，當時他正在蒙特利爾大學和其他博士一起進行生成模型的研究，他們想通過該生成模型讓計算機自動生成照片。當時他們的想法還是希望使用傳統的神經網絡方法，希望通過模擬人的大腦思考方式來進行圖片的生成。但是事實是生成的圖像質量始終不理想，出現了圖片模糊的情況，如果需要繼續對現在的模型進行優化，需要大量的訓練數據集，而且最終的可行性也是不得而知。

當時的Ian對使用傳統神經網絡的方式本身產生了懷疑，他認為也許這并非最理想的解決方案。一天晚上，他突然想到一種全新的思路，如果不是只用一個神經網絡，而是同時使用兩個神經網絡會不會有更好的效果呢？

這一想法為他打開了一種全新的思路，在Ian的構思中兩個神經網絡并非是合作關系而是一種博弈與對抗的關系（見圖1-18），這也就是生成對抗網絡最初的思想。就如同人類自身在發展過程中經歷的那樣，只有在與同類的競爭環境下對于某項技能的學習才會更加快速，比如各類比賽尤其是體育類競賽，每年的成績都在不斷逼近人類極限，這其中有很大一部分原因在于比賽選手之間的比拼與較勁。

如果從仿生學的角度來看，在生物的發展過程中也有著類似的狀態，在與其他物種尤其是天敵的對抗中自身會不斷進化，從而向著一個更完善的狀態轉變。這一理論是由進化生物學家Leigh Van Valen在1973年的時候總結提出的，稱為“紅皇后假說”，是一種關于生物協同進化的假說，物種間為了爭奪有限的資源，不得不持續優化自身以對抗自身種族的捕食者與競爭者。同樣地，對于該物種的捕食者與競爭者來說，也同樣需要不斷進化來獲取相應的資源。

Ian Goodfellow是一個非常果敢的執行派，同時也是一個代碼高手，在基礎理論大致清晰了之后他立刻就開始了實踐，并且在最初的幾次實踐過程中，這種對抗的思想就在實驗數據的圖像生成上取得了非常理想的效果。

生成對抗網絡這種全新的技術在生成方向上帶給了人工智能領域全新的突破。在之后的幾年中生成對抗網絡成為深度學習領域中的研究熱點，近幾年與GAN有關的論文數量也急速上升（見圖1-19），網絡上有人整理了近年來的GAN模型，截至2018年2月份已經有了350多個，數量仍然在持續增加中。

“深度學習三駕馬車”的另外一位頂級專家Yann LeCun（紐約大學教授，前Facebook首席人工智能科學家）稱贊生成對抗網絡是“過去20年中深度學習領域最酷的思想”，而在國內被大家熟知的前百度首席科學家Andrew Ng也把生成對抗網絡看作“深度學習領域中一項非常重大的進步”。在機器學習頂級會議NIPS2016上，為Ian Goodfellow專門開設了關于GAN的教程演講（見圖1-20）。在2018年，這一對抗式神經網絡的思想被《麻省理工科技評論》評選為2018年“全球十大突破性技術”（10 Breakthrough Technologies）之一。

1.3.2 什么是生成對抗網絡

讓我們先用一個小例子來認識一下生成對抗網絡。首先我們來認識一下生成對抗網絡的雙方—生成器與判別器，在訓練過程中兩者的配合非常重要。我們可以把生成器想象成一個古董贗品制作者（雖然比喻可能并不太合適），他的成長過程是從一個零基礎的“小白”慢慢成長為一個“仿制品藝術家”。而判別器則擔任的是一個古董鑒別專家的角色，當然一開始也許他也僅僅是一個普通等級的鑒別師，在與贗品制作者的博弈中逐漸成長為一個技術超群的鑒別專家（見圖1-21）。

生成對抗網絡的內部比賽現在就開始了。讓我們來看一下最初的情況是怎樣的：贗品制作者還是一個什么都不懂的“小白”，也不懂得真實的古董到底應該是什么樣子，完全憑借自己的心意隨意制作產品。

面對如此簡單可分辨的仿制品，雖然自身功力也不深，但是此時的初級鑒別者卻還是能夠一眼就能分辨孰真孰假。在分辨完成的同時，鑒別者會將自己的判斷結果寫成報告：比如做工不精細、顏色不協調等。

最初的第一次對抗就這么完成了，似乎離我們期待的目標還非常遠，但是沒關系，這才剛剛開始。現在進入第二階段，仿造者通過一些渠道，拿到了鑒別者的判斷報告，他認真研讀了里面的每一條信息，根據這些信息重新制作贗品，雖然他依然不知道真實古董到底是什么樣子，但他希望能夠通過這份報告的信息來“騙過”鑒別者。

這一次創作的贗品比起之前的來說確實要成熟不少。到了鑒別者這邊，當他再次拿到贗品和真品時，要重新判斷作品的真假，這一次他也發現了贗品制造者的能力有所提升了，為了區分真假作品，他需要花時間去尋找一些更深入的區別點。當然，在一番努力過后，鑒別師順利完成了任務，同時他也如第一次一樣，將他區分真假的理由寫成報告（之后依然會流出到贗品制造者手里）。第二次對抗到這里也完成了。

當然對抗遠遠沒有結束，如同上述的故事一直持續了很多很多次……

在經歷了N次的互相博弈以后，兩者在整個訓練過程中都變得非常強，其中的造假者一方幾乎能制作出以假亂真的作品，而鑒別者一方也早已是“火眼金睛”的鑒別專家了。最后一次博弈是這樣的：贗品制作者已經完全摸透了鑒別師的心理，雖然他還是沒有見過真的古董是什么樣子，但是對古董應該具備什么樣的特性已經十拿九穩，對于鑒別師可能的分辨過程也全都了然于心。對于如此以假亂真的贗品，雖然鑒別者擁有“火眼金睛”，但已然是無能為力了，他可以做的只能是憑運氣猜測是真是假，而無法用確定的理由進行判斷。

這也就是生成對抗網絡最終的目的，而我們所需要的就是培養出這個能夠以假亂真的生成器。在之后的第3章開始，本書會詳細介紹生成對抗網絡的技術細節。