Python可视化神经网络中常见的激活函数

激活函数是神经网络中神经元的一部分，负责将输入映射到输出，引入非线性以帮助网络学习复杂模式。本文介绍了深度学习中常见的激活函数，并提供了可视化图像及相关数学表达。

线性函数

线性激活函数定义了输入和输出之间的线性关系，最简单形式为 𝑦=𝑥 y=x。其可视化图像如下：

单位阶跃函数

单位阶跃函数的数学表达为 [图片]。注意该函数不连续，其可视化图像如下：

Sigmoid 函数

Sigmoid 函数是一种常见的 S 函数，其数学定义为

可视化图像如下：

tanh 双曲正切函数

双曲正切函数是另一种 S 形激活函数，其定义为

可视化图像如下：

SoftSign 函数

SoftSign 是 Tanh 函数的替代选择，其数学定义为

对应的可视化图像如下：

ReLU 函数

ReLU 函数在深度学习中广泛应用，其数学定义为

可视化图像如下：

PReLU 函数

PReLU 是对 ReLU 的改进版本，其定义为

可视化图像如下：

ELU 函数

ELU 函数扩展了 ReLU，其定义为

可视化图像如下：

SoftPlus 函数

SoftPlus 函数的定义为

可视化图像如下：

总结

本文总结了深度学习中常见的激活函数，并提供了函数及导函数的可视化图像，以及完整的代码示例。