3.用信息論揭示生命中的物理學

信息是一個抽象的概念。雖然由克勞德·香農（Claude Shannon）開創的信息數學理論將某些方面形式化了，但它并非對“信息是什么”的完整描述。尤其，我們并沒有一個具體的框架來理解對信息之于物理究竟是什么。信息可以在不同的物理介質之間復制，這意味著它并不是嚴格意義上只與物理質料相聯系的物質屬性。例如，信息可以從作者的頭腦中復制到這一頁文字上（通過寫在電腦），或者復制到印刷的紙張上，并最終按照預期功能復制到讀者的大腦中（例如這里你閱讀到的）。這些事件在空間和時間上是分離的，并且發生在完全不同的物理介質上。就像許多信息傳輸的例子一樣，這表明信息不可能僅僅是大腦的化學濕件、或計算機處理芯片上的一種屬性。正是在這個意義上，信息才是“抽象的”（同樣人們也可以認為“能量”是抽象的，因為它能在不同的物理系統之間流動，并以不同的方式儲存或使用——如化學能、機械能等。但相比之下，我們確實對什么是物理上的能量有一個非常清晰的認識）。

然而，信息也必然是物理的。為了使信息存在，它必須在物理自由度中實例化（L;auer et al. 1991），因此信息的動力學取決于物理自由度下動力學。在生物學中，信息的作用更為突出，它似乎具有“自己的生命”（Davies;Walker 2016），對生物過程的解釋暗示“信息”本身就具有因果效應（Davies 2011）。生命擁有能夠存儲和處理信息的驚人能力，不僅對于理解生命本身的起源（Yockey 2005；Walker&;Davies 2013），對于理解生命系統如何在我們觀察到的時空尺度中組織起來，也是一個具有核心意義的課題。信息傳遞和信息處理通常被認為是集群行為背后的驅動力，例如螞蟻和蜜蜂的尋巢行為（house-hunting）、椋鳥群和魚群的奇妙運動、人類群體中的車道形成等等，直到細胞群的水平（Franks et al. 2002；Couzin，2009；Deisboeck;Couzin，2009；Moussaid et al. 2009；Couzin et al. 2011）。然而，雖然已被大量實驗和分析研究過，以上這些集群的信息機制卻往往只以生物體的具體物理量為特征、僅以非形式化方式就被定義了。

4.信息論下形式定義

為超越單純的描述性分析，或具體的案例研究，有必要引入形式化信息內容和信息流的方法。物質屬性已經被量化了幾個世紀，信息則相對是更新的進展，它始于香農的開創性工作。在信息論中最基本的量稱為熵，H(x)被定義為（Shannon 1948）：

其中 p(x)是隨機變量 X 處于狀態 x 的概率。當 p(x)是所有可能狀態的均勻分布時，H(X)是最大化的，它通常稱為香農熵。香農熵可以被描述為你在得知一個事件結果時可能體驗到的驚訝程度：事件越不可能發生，你在得知事件時就感覺越驚訝。從這個角度來看，信息的概念與減少不確定性密切相關，因為一個事件的不確定性越小，你對事件結果的驚訝程度就越小，它所包含的信息量也就越少。香農熵構成了信息論的基礎，其它大多數信息概念和度量都是基于香農所發展的一般信息概念的基礎上衍生出來的。然而僅僅用熵并不能完全體現“信息“的概念，因為信息還需要發送者和接收者（Adami 2016）。在這方面，信息被定義為給定其它過程下某個隨機過程不確定性的降低，并由所考慮過程間共享的熵的大小來表示（Cover &p; Thomas 2005），這被量化為互信息（mutual information）：

互信息可以很方便用維恩圖來可視化，即每個過程的熵相互重疊的區域（圖2a）。當考慮某個過程的熵，去掉與其它所有過程的互信息，我們就得到了條件熵：即了解其它所有過程知識時，該過程還剩下的不確定性。因此，互信息度量的是我們從所有其它過程知識中獲得有關某個過程的信息。

圖2：維恩圖表示的 a 互信息；b 傳遞熵。

互信息也被用來量化存儲在一個系統和/與它各個組成部分中的信息量。最常用的測量方法是超額熵（excess entropy）和主動信息（active information）。超額熵（Crutchfield &Feldman 2003）被定義為一個過程過去和未來之間的互信息，衡量某個過程可以通過觀察其過去的行為來解釋的未來的不確定性；主動信息 A(X)也提供了類似的度量，但它不考慮整個過程的未來，而只關注和預測過程中即將抵達的下一個狀態（Lizier et al. 2012a）：

（其中

代表 X 中從時間點 n 開始過去 k 個狀態：{x-+1，...， x-1， x}。）

雖然互信息允許定義和量化信息，但它只是一個對稱的量，不能捕捉到隨機過程之間的方向性關系（如信息傳遞）。為克服這一信息量化處理的局限性，Schreiber（2000）引入了傳遞熵（transfer entropy）的概念，它是給定某個隨機過程過去（如歷史信息）和一個或多個其它過程當前知識了解下，對該過程未來狀態的不確定性減少的一種度量（Schreiber 2000; Kaiser &;Schreiber 2002）：

其維恩圖表示如圖2。傳遞熵利用時間方向性來克服互信息對稱性的限制，它是對兩個或多個過程之間的定向傳遞的預測信息的度量（Lizier&Prokopenko 2010），因此也不一定就意味著因果作用（James et al. 2016）；但它的逐點變量（point-wise，或局部變量）可以為集群行為的時空動力學提供有用的洞見（Lizier et al. 2008b）。