当前位置: 首页> 教育> 幼教 > 数字广东网络建设有限公司是国企吗_公司网页原型设计_宁波网站推广公司有哪些_成都网络营销

数字广东网络建设有限公司是国企吗_公司网页原型设计_宁波网站推广公司有哪些_成都网络营销

时间:2025/7/11 8:28:41来源:https://blog.csdn.net/fantasy_ARM9/article/details/147261581 浏览次数:0次
数字广东网络建设有限公司是国企吗_公司网页原型设计_宁波网站推广公司有哪些_成都网络营销

激活函数通过计算加权加上偏置来确定神经元是否应该激活它们输入信号转换为输出可微运算大多数激活函数都是非线性由于激活函数深度学习基础下面简要介绍一些常见激活函数

1 RelU函数

最受欢迎激活函数修正线性单元ReLU因为实现起来简单同时各种高预测任务表现良好ReLU提供了一种非常简单非线性变化给定元素x RelU函数定义元素0最大值

RelU(x) = max(x, 0);

通俗地说RelU函数通过相应激活设为0仅仅保留元素丢弃所有元素为了直观感受一下我们可以绘制函数的曲线正如图中所看到激活函数分段线性

x = torch.arange(-8.0, 8.0, 0.1); requires_grad = true

y = torch.relu(x);

d2l.plot(x.detach(), y.detach(), 'x', 'relu(x)', figsize = (5, 2.5));

2 sigmoid激活函数

对于一个定义域R输入sigmoid函数输入变换为区间(0,1) 输出因此sigmoid 通常称为挤压函数将范围(-inf,inf)任意输入压缩区间0,1)某个值

sigmoid(x) = 1/(1 + exp(-x))

sigmoid函数的导数

d/dx sigmoid(x) = exp(-x) / (1 + exp(-x))^2 = sigmoid(x)(1 - sigmoid(x))

3 tanh函数

sigmoid 函数类似tanh(双曲正切)函数也能将其输入压缩转换区间(-1,1)tanh函数如下

tanh(x) = 1 - exp(-2x) / 1 + exp(-2x)

下面我们绘制tanh函数的图像注意输入0附近tanh函数接近线性变换函数形状类似于sigmoid函数不同的是tanh函数关于坐标系原点中心对称

y = torch.tanh(x);

d2l.plot(x.detach(), t.detach(), 'x', 'tanh(x)', figsize = (5, 2.5));

tanh函数的导数

d/dx tanh(x) = 1 - tanh^2(x)

tanh函数导数图像如下所示输入接近0tanh函数导数接近最大值1我们sigmoid函数的图像看到的类似输入任一方向远离0导数接近0.

关键字:数字广东网络建设有限公司是国企吗_公司网页原型设计_宁波网站推广公司有哪些_成都网络营销

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: