卷积(CNN)

目的:提特征

CNN架构

池化(Pooling)

Dropout

权值共享

池化目的:

1. 降采样(subsample)，减小参数(防止过拟合)
2. 减少输入图片大小也使得神经网络可以经受一点图片平移,不受位置的影响
3. 有大小、步长、padding类型
4. 池化神经元没有权重值,只有取最大或者求平均

为什么卷积层的W参数少

1. 局部连接
2. 权值共享

Reverse-mode Autodiff

1. 因为n7是输出节点,所以f=n7,所以$\frac{{\alpha }_f}{{\alpha }_{n}7}=1$
2. n5节点,$\frac{{\alpha }_f}{{\alpha }_{n}5}=\frac{{\alpha }_f}{{\alpha }_{n}7}\ast \frac{{\alpha }_{n}7}{{\alpha }_{n}5}=1\ast \frac{{\alpha }_{n}7}{{\alpha }_{n}5}$,因为n7 = n5 + n6，所以$\frac{{\alpha }_{n}7}{{\alpha }_{n}5}=1$，
   所以$\frac{{\alpha }_f}{{\alpha }_{n}5}=1\ast 1=1$
3. n4节点,$\frac{{\alpha }_f}{{\alpha }_{n}4}=\frac{{\alpha }_f}{{\alpha }_{n}5}\ast \frac{{\alpha }_{n}5}{{\alpha }_{n}4}=1\ast \frac{{\alpha }_{n}5}{{\alpha }_{n}4}$，因为n5 = n4 * n2，所以$\frac{{\alpha }_f}{{\alpha }_{n}4}=1\ast n2=4$
4. $\frac{{\alpha }_f}{{\alpha }_x}=\frac{{\alpha }_f}{{\alpha }_{n}4}\ast \frac{{\alpha }_{n}4}{{\alpha }_x}=4\ast 2\ast n1=24$
5. $\frac{{\alpha }_f}{{\alpha }_y}=\frac{{\alpha }_f}{{\alpha }_{n}5}\ast \frac{{\alpha }_{n}5}{{\alpha }_{n}2}+\frac{{\alpha }_f}{{\alpha }_{n}6}\ast \frac{{\alpha }_{n}6}{{\alpha }_{n}2}=1\ast n4+1\ast 1=9+1=10$
   

反向传播(Backpropagation)

1. 令 y=1.00
2. $w_{-1}=-0.53=y\ast d\frac{1}{x}=1.00\ast -\frac{1}{x^2}=1.00\ast -\frac{1}{1.37^2}$,这里的x=1.37
3. $w_{-2}=-0.53=w_{-1}\ast dx+1=-0.53\ast 1=-0.53$,这里的x=0.37
4. $w_{-3}=-0.20=w_{-2}\ast d{e}^x=-0.53\ast -(1/e)$,这里的x=-1.00
5. $w_{-4}=0.20=w_{-3}\ast dx\ast (-1)=0.2$,这里的x=1.00,不过不需要知道是多少,也可以求导
6. $w_{-5a}=w_{-4}\ast d^{x_a}(x_a+x_b)=w_{-4}\ast 1=0.20$
7. $w_{-5b}=w_{-4}\ast d^{x_b}(x_a+x_b)=w_{-4}\ast 1=0.20$
8. $w_{-6a_1}=w_{-5a}\ast d^{x_{a}1}(x_{a}1+x_{a}2)=w_{-5a}=0.20$
9. $w_{-6a_2}=w_{-5a}\ast d^{x_{a}2}(x_{a}1+x_{a}2)=w_{-5a}=0.20$
10. $w_{-7a_{11}}=w_{-6a_1}\ast d^{w_0}(w0\ast x0)=-0.20$,这里的 x0=-1.00
11. $w_{-7a_{12}}=w_{-6a_1}\ast d^{x0}(w0\ast x0)=0.4$，这里的w0=2.00
12. $w_{-7a_{21}}=w_{-6a_1}\ast d^{w1}(w1\ast x1)=-0.40$,这里的x1=-2.00
13. $w_{-7_{22}}=w_{-6a_1}\ast d^{x1}(w1\ast x1)=-0.60$,这里的w1=-3.00
    

VGG16

待补充

Sigmode函数

$f_{(x)}=\frac{1}{1+e^{-x}}$
图像

Tanh函数

$f_{(x)}=\frac{e^x-e^{-x}}{e^x+e^{-x}}$
图像

Tanh函数的导数

$f_{(x)}^{/}=1-[f_{(x)}{]}^2$

Relu函数

有缺点

梯度消失

梯度爆炸(弥散)

正则化

归一化

EalyStopping

防止过拟合

Batch Normalization(批量归一化)

目的:
1.减轻梯度弥散
2. 对权重初始化不那么敏感
3. 可以使用大一点的学习率来提速
4. 是一种正则化,提高泛化能力,就没必要使用Dropout了