1.DenoisingAutoencoder

在神經(jīng)網(wǎng)絡模型訓練階段開始前，通過Autoencoder對模型進行預訓練可確定編碼器W的初始參數(shù)值。然而，受模型復雜度、訓練集數(shù)據(jù)量以及數(shù)據(jù)噪音等問題的影響，通過Autoencoder得到的初始模型往往存在過擬合的風險。關(guān)于Autoencoder的介紹請參考：自動編碼器（Autoencoder）。

在介紹DenoisingAutoencoder（降噪自動編碼器）之前，我們先來回顧一下機器學習中的過擬合的問題，如下圖所示，其展示了訓練數(shù)據(jù)量和噪音數(shù)量對模型過擬合問題的影響。圖中紅色區(qū)域表示模型過擬合，藍色區(qū)域表示欠擬合，綠色區(qū)域是我們希望得到的模型。從圖中可以看出，當訓練數(shù)據(jù)越少，數(shù)據(jù)噪音越多時，模型越容易過擬合。

在模型的復雜度和數(shù)據(jù)量都已經(jīng)確定的前提下，防止過擬合的一種辦法是減少數(shù)據(jù)中的噪音數(shù)量，即對訓練集數(shù)據(jù)做清洗操作。然而，如果我們無法檢測并刪除掉數(shù)據(jù)中的噪音。另一種防止過擬合的辦法就是給數(shù)據(jù)中增加噪音，這看似與之前的結(jié)論矛盾，但卻是增強模型魯棒性的一種有效方式，我們以手寫數(shù)字識別為例，Autoencoder所做的操作是首先對輸入圖片編碼，經(jīng)過隱含層后解碼重構(gòu)原始圖片中的數(shù)字信息。假如現(xiàn)在我們輸入的是一副含有一定噪音的圖片，例如圖片中有污點，圖片中的數(shù)字傾斜等，并且我們?nèi)匀幌Ｍ獯a后的圖片是一副干凈正確的圖片，這就需要編碼器不僅有編碼功能，還得有去噪音的作用，通過這種方式訓練出的模型具有更強的魯棒性。

DenoisingAutoencoder（降噪自動編碼器）就是在Autoencoder的基礎之上，為了防止過擬合問題而對輸入的數(shù)據(jù)（網(wǎng)絡的輸入層）加入噪音，使學習得到的編碼器W具有較強的魯棒性，從而增強模型的泛化能力。DenoisingAutoencoder是Bengio在08年提出的，具體內(nèi)容可參考其論文：

Extracting and composing robust features with denoising autoencoders.

論文中關(guān)于DenoisingAutoencoder的示意圖如下，其中x是原始的輸入數(shù)據(jù)，DenoisingAutoencoder以一定概率把輸入層節(jié)點的值置為0，從而得到含有噪音的模型輸入x?。這和dropout很類似，不同的是dropout是隱含層中的神經(jīng)元置為0。

Bengio對DenoisingAutoencoder作出了以下直觀的解釋：

DenoisingAutoencoder與人的感知機理類似，比如人眼看物體時，如果物體某一小部分被遮住了，人依然能夠?qū)⑵渥R別出來。

人在接收到多模態(tài)信息時（比如聲音，圖像等），少了其中某些模態(tài)的信息有時也不會造成太大影響。

Autoencoder的本質(zhì)是學習一個相等函數(shù)，即網(wǎng)絡的輸入和重構(gòu)后的輸出相等，這種相等函數(shù)的表示有個缺點就是當測試樣本和訓練樣本不符合同一分布，即相差較大時，效果不好，而DenoisingAutoencoder在這方面的處理有所進步。

實驗代碼

MNIST數(shù)據(jù)集的格式與數(shù)據(jù)預處理代碼input_data.py的講解請參考:Tutorial(2)

實驗代碼如下：