首先感謝這位博主整理的Andrew Ng的deeplearning.ai的相關(guān)作業(yè)：https://blog.csdn.net/u013733326/article/details/79827273

開一個我的github傳送門，可以看到代碼。

https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/InitializeRegularize

L2正則化

待分類的數(shù)據(jù)點集;

未使用L2正則化的模型迭代過程和accuracy：

使用L2正則化的模型迭代過程和accuracy：

未使用L2正則化的訓(xùn)練集分類效果：

使用L2正則化的訓(xùn)練集分類效果：

明顯可以看出，未使用L2正則化的模型在訓(xùn)練集上過擬合了數(shù)據(jù)，使用L2正則化可以有效避免過擬合問題。

所謂L2正則化就是減小了訓(xùn)練集的過擬合程度，lambd參數(shù)可以讓決策邊界更加平滑，當(dāng)然如果參數(shù)過大會導(dǎo)致過度平滑從而加大偏差。
L2正則化依賴于假設(shè)”較小權(quán)重的模型比較大權(quán)重的模型更簡單“，因此通過削減成本函數(shù)中權(quán)重的平方值，即乘lambd(lambd < 1)來將權(quán)重逐漸變小。
L2正則化的影響：
1.成本計算花費更多
2.反向傳播的花費更多
3.權(quán)重衰減，權(quán)重被逐漸改變的較小的范圍

?dropout正則化：

所謂dropout正則化就是隨機(jī)刪除隱含層單元節(jié)點的方法，可以對一個網(wǎng)絡(luò)中的不同隱含層設(shè)置隨機(jī)刪除節(jié)點的百分比，這樣在每一次迭代中部分節(jié)點會隨機(jī)失效。

其作用是，讓每一個節(jié)點相對于其他所有節(jié)點的敏感性下降，因為每次迭代中失效的節(jié)點都是隨機(jī)的，其他節(jié)點在任意時間都有可能失活。

使用dropout正則化的模型迭代過程和accuracy：

使用dropout正則化的訓(xùn)練集分類效果：

隨機(jī)刪除節(jié)點的正則化方法會降低訓(xùn)練集的準(zhǔn)確率，但會提升測試集的準(zhǔn)確率，所以適當(dāng)?shù)氖褂谜齽t化方法不失為一種降低過擬合，提升準(zhǔn)確率的選擇。