激活量总结 第1篇
导数公式： f ′ ( x ) = 1 − ( f ( x ) ) 2 {f'}(x) = 1 - {(f(x))^2} f′(x)=1−(f(x))2 倒数图像： 3. 函数性质
我们从图像和公式上结合上面分析的激活函数的特性来看看Tanh激活函数的优点和缺点，Tanh函数类似于将Sigmoid函数拉伸和向下平移的结果。
激活量总结 第2篇
函数图像： 函数公式： f ( x ) = ( e x − e − x ) ( e x + e − x ) f(x) = \frac{{({e^x} - {e^{ - x}})}}{{({e^x} + {e^{ - x}})}} f(x)=(ex+e−x)(ex−e−x)
激活量总结 第3篇
ReLU函数代表的的是“修正线性单元”，它是带有卷积图像的输入x的最大函数(x,o)。ReLU函数将矩阵x内所有负值都设为零，其余的值不变
公式： f ( x ) = max ( α x , x ) f(x) = \max (\alpha x,x) f(x)=max(αx,x) 函数图像跟之前的ReLu图像很像，同样的PReLU和ELU激活函数也是在ReLu的基础上针对ReLU在训练时神经元容易死亡做出了优化，基本的思路就是让函数小于0的部分不直接为0，而是等于一个很小的数，使得负轴的信息不至于完全丢弃。
Goodfellow I, Bengio Y, Courville A. Deep learning[M]. MIT press, 2016. ↩︎
↩︎