2022年4月18日 · 文章浏览阅读4.9w次，点赞168次，收藏567次。本文全面解析了各种激活函数，包括Sigmoid、tanh、ReLU及其变体，ELU、SELU、Swish、Mish和Maxout等。讨论了它们的特点、优缺点及应用场景，特别是对非线性建模和梯度消失问题的解决。

2021年2月11日 · 文章浏览阅读8.4k次。本文详细介绍了深度学习中常用的激活函数，包括ReLU、RReLU、LeakyReLU、PReLU等，以及它们的特性与区别。此外，还讨论了Softplus、ELU、Softmax等平滑或有界函数在不同场景下的应用。这些函数对于神经网络的训练和性能至关重要，影响着模型的收敛速度和梯度消失问题。

因为每个神经元 (a/b/c/d)都是复合函数，所以上面式子中的每一项都可以更进一步展开，以d对c的导数举例，展开如下，可以看到式子的中间项是Sigmoid函数的梯度。那么拥有4个神经元的网络的Loss函数相对于第一层神经元a的偏导表达式中就包含4个Sigmoid梯度的乘积。而实际的神经网络层数少则数十多则 ...

2021年1月6日 · 什么是ReLU函数？ ReLU，全称为：Rectified Linear Unit，是一种人工 神经网络 中常用的 激活函数，通常意义下，其指代数学中的斜坡函数，即 f (x) = max(0,x) 对应的函数图像如下所示： 而在神经网络中，ReLU函数作为神经元的激活函数，为神经元在线性变换

神经网络中的 非线性激活函数 （ReLu， Sigmoid， Tanh） 什么是激活函数？ 激活函数是指在多层神经网络中，上层神经元的输出和下层神经元的输入存在一个函数关系，这个函数就是激活函数。如下图所示，上层神经元通过加权求和，得到输出值，然后被作用一个激活函数，得到下一层的 …

本文我们介绍深度学习的功臣ReLU及其变种，它们在神经网络中的广泛应用，对于提高网络的性能和加速训练具有重要意义。 1. ReLU函数1.1 定义ReLU（Rectified Linear Unit，修正线性单元）激活函数是现代深度学习中…

我们把神经网络从输入到输出的计算过程叫做 前向传播 (Forward propagation)。神经网络的前向传播过程，也是 数据张量 (Tensor)从第一层流动 (Flow)至输出层的过程：从输入数据开始，途径每个隐藏层，直至得到输出并计算误差，这也是TensorFlow 框架名字意义所在。 激活函数的由来和意义 感知机（Perception ...

2021年1月16日 · 文章浏览阅读4.6w次，点赞12次，收藏49次。本文介绍了PyTorch中ReLU激活函数的使用及其inplace选项，并通过实例展示了如何利用Sequential模块简化前馈神经网络的构建。此外，还涵盖了ModuleList的特性和使用方法。

2025年2月8日 · ReLU（Rectified Linear Unit）函数详细讲解ReLU（修正线性单元）是一种在深度学习中非常流行的激活函数，它主要用于神经网络中的隐藏层。ReLU的设计简单而高效，能够有效地处理梯度消失问题，使深度神经网络得以…

2015年4月24日 · 论文参考：Deep Sparse Rectifier Neural Networks(很有趣的一篇paper）起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传统Sigmoid系激活函数传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoi