2.6 其他與構建深度網絡相關的函數

1.泄露ReLU層：leakyReluLayer函數

功能：該函數創建一個泄露ReLU（Leaky ReLU）層。其中，scale通常是一個非常小的值。Leaky ReLU設計的目的是解決梯度在傳播過程中可能帶來的ReLU失效問題，即ReLU函數因為超過閾值而幾乎永久關閉，導致無法更新權重參數。理論上講，Leaky ReLU有ReLU的所有優點，并且不會出現ReLU失效問題。

用法：

語法①

layer = leakyReluLayer。

輸出：layer為Leaky ReLU層。

語法②

layer = leakyReluLayer(scale)。

輸入：參數scale為一個數值標量，用以與負輸入相乘。

輸出：layer為Leaky ReLU層。

語法③

layer = leakyReluLayer(scale，'Name'，Name)。

輸入：參數scale為一個數值標量，用以與負輸入相乘；Name為該層的名稱。

輸出：layer為Leaky ReLU層。

2.限幅ReLU層：clippedReluLayer函數

功能：該函數創建一個限幅ReLU（Clipped ReLU）層。Clipped ReLU函數對激活的最大值進行了限制。

用法：

語法①

layer = clippedReluLayer(ceiling)。

輸入：ceiling為裁剪上限。

輸出：layer為限幅ReLU層。

語法②

layer = clippedReluLayer(ceiling，'Name'，Name)。

輸入：ceiling為裁剪上限，Name為該層的名稱。

輸出：layer為限幅ReLU層。

3.反最大池化層：maxUnpooling2 dLayer函數

功能：該函數創建一個反最大池化層。要進行反最大池化操作，需要在池化過程中記錄最大激活值的坐標位置，然后在反池化時，把池化過程中最大激活值所在位置坐標值激活，其他的值設置為0。這種操作由于丟失了其他激活值的大小和位置信息，只是一種近似計算。

用法：

語法①

layer = maxUnpooling2 dLayer。

輸出：layer為最大反池化層。

語法②

layer = maxUnpooling2dLayer('Name'，Name)。

輸入：Name為該層的名稱。

輸出：layer為最大反池化層。

4.跨通道歸一化層：CrossChannelNormalizationLayer函數

功能：該函數創建一個通道級的歸一化層。

用法：

語法①

layer = crossChannelNormalizationLayer(windowChannelSize)。

輸入：windowChannelSize指定通道窗口的大小，控制用于歸一化每個元素的通道數。

輸出：layer為CrossChannelNormalization層。

語法②

layer = crossChannelNormalizationLayer(windowChannelSize，Name，Value)。

可以通過指定“名稱-取值”對（Name和Value）來配置特定屬性（將每種屬性名稱括在單引號中），具體含義見表2-6。

5.轉置的卷積層：transposedConv2 dLayer函數

功能：該函數創建一個轉置的二維卷積層。注意該層是卷積的轉置，不執行反卷積操作。

用法：

語法①

layer = transposedConv2dLayer(filterSize，numFilters)。

輸入：filterSize為濾波器大小，格式為具有兩個整數的向量[h w]，其中h是高，w是寬；numFilters為濾波器數。

輸出：layer為轉置的二維卷積層。

語法②

layer = transposedConv2dLayer(filterSize，numFilters，Name，Value)。

可以通過指定“名稱-取值”對（Name和Value）來配置特定屬性（將每種屬性名稱括在單引號中），具體含義見表2-7。