深度学习之激活函数——RReLU
随机修正整流线性单元(RReLU)，全称Randomized ReLU，是ReLU的延伸版，也是为了解决dead relu神经元坏死现象而提出的一种激活函数。
·
随机修正整流线性单元(RReLU)，全称Randomized ReLU，是ReLU的延伸版，也是为了解决dead relu神经元坏死现象而提出的一种激活函数。
函数表达式
f(x)={αx,x≤0x,x>0其中α满足U(m,n) f(x)=\begin{cases} \alpha x,\quad x\leq 0\\ x, \quad x>0 \end{cases} \\其中\alpha满足U(m,n) f(x)={αx,x≤0x,x>0其中α满足U(m,n)
当x<0x<0x<0时，函数值为f(x)=αxf(x)=\alpha xf(x)=αx，但是α\alphaα初始是一个随机变量，随后不断进行修正，其取值范围为[m,n][m,n][m,n]；当x>0x>0x>0时，函数值为f(x)=xf(x)=xf(x)=x
函数图像
如上图，左侧函数在黄色区域的范围内进行选择。
函数特性
优点：
- 引入了随机因素，可以减少过拟合的风险
一站式 AI 云服务平台
更多推荐
28
0- 0
已为社区贡献2条内容
所有评论(0)