激活函數和損失函數

線性模型的表達能力不夠，激活函數增加了神經網絡模型的非線性，提高了神經網絡模型的表達能力(數據往往是線性不可分的)。

(1)sigmoid函數:

隱藏神經元的輸出Sigmoid函數(Logistic函數)取值範圍為(0，1)，可以將壹個實數映射到(0，1)的區間，可以分為兩類。

缺點:

(3)softmax功能:

多分類神經網絡輸出:

(4)泄漏ReLU功能(PReLU):

(4)ELU函數:

(4)MaxOut功能:

Maxout是深度學習網絡的壹層，也就是同壹個池層和卷積層。Maxout可以看作是網絡的激活功能層。假設網絡某壹層的輸入特征向量為:x = (x1，x2，...xd)，輸入是d個神經元。Maxout隱層中每個神經元的計算公式如下:

其中c代表成本，x代表樣本，y代表實際值，a代表產值，n代表樣本總數。

以壹個樣本為例:

梯度下降算法:

在不改變激活函數的情況下，將二次代價函數改為交叉熵代價函數；

x代表樣本，n代表樣本總數。計算參數w的梯度:

b的梯度:

上一篇:從深圳到珠海托運行李最便宜的方式是什麽？

下一篇:特斯拉怎麽開門？