sgn函数
logistic函数
函数图像:
Rectified Linear Unit(ReLU):
$$
f(x)=\max(0, x)
$$
函数图像：
Tanh函数
Tanh 是双曲正切函数，是三角学中普遍使用的 Tan 圆函数的双曲类比(调整平移过的sigmoid函数)
定义：
$$
tanh(\alpha) = \frac{sinh(\alpha)}{\cosh(\alpha)}
$$
$$
tanh(\alpha)=\frac{e^{2\alpha}-1}{e^{2\alpha}+1}=\frac{e^x-e^{-x}}{e^x+e^{-x}}
$$
函数图像：
双曲函数
双曲函数是一类与常见的三角函数（也叫圆函数）类似的函数 $$ sinh(x) = \frac{e^x - e^{-x}}{2} $$ $$ cosh(x) = \frac{e^x + e^{-x}}{2} $$ $$ tanh(x) = \frac{sinh(x)}{cosh(x)} $$ 性质： $cosh^2t-sinh^2t=1$
函数图像：
