您当前的位置:首页 > 计算机 > 编程开发 > 人工智能

神经网络算法:常用激活函数(Sigmoid,tanh,ReLU)

时间:10-05来源:作者:点击数:

在神经网络中,我们称逻辑回归中的 Sigmoid 函数为激活函数。在神经网络中,有很多可选的激活函数。

1. Sigmoid函数

Sigmoid 函数定义如下:

Sigmoid函数

其图像如图 1 所示。

Sigmoid函数图像
图1:Sigmoid函数图像
 

Sigmoid 函数将拟合曲线最后的结果转换到 (0,1) 区间。比较大的负数无限接近于 0,比较大的正数无限接近于 1。这样我们就可以用 0、1 来表示不同的分类结果。

2. tanh函数

tanh 函数的定义如下:

tanh函数

其图像如图 2 所示。

tanh函数
图2:tanh函数图像

tanh 函数将拟合曲线最后的结果转换到 (-1,1) 的区间上。比较大的负数无限接近于 -1,比较大的正数无限接近于 1。

3. ReLU函数

ReLU 函数的定义如下:

ReLU函数

其图像如图 3 所示。

ReLU函数图像
图3:ReLU函数图像

ReLU 函数将拟合曲线最后的结果转换到 [0,+∞) 的区间上,其中小于 0 的结果转换为 0,大于 0 的结果不变。因为 Sigmoid 函数和 tanh 函数在训练神经网络的过程中效率比较低,所以现在都默认使用 ReLU 函数进行训练。

方便获取更多学习、工作、生活信息请关注本站微信公众号城东书院 微信服务号城东书院 微信订阅号
推荐内容
相关内容
栏目更新
栏目热门