不连续激活函数

不连续激活函数
不连续激活函数是指那些在其定义域内不连续的函数，用于在神经网络中引入非线性特性。

虽然大多数常用的激活函数（如sigmoid、tanh和ReLU）在其定义域内是连续的，但也有一些不连续的激活函数被提出并在某些特定情况下使用。

以下是一些不常用的不连续激活函数：
1. Sign激活函数：这是一个非常简单的不连续激活函数，其输出为输入值
的符号，即输出为1（如果输入大于0），输出为-1（如果输入小于0），
在0处不定义。

2. Step激活函数：也被称为Heaviside函数，它在0处有不连续点。

当输
入大于0时，输出为1；当输入小于0时，输出为0。

3. Gating激活函数：在一些神经网络结构中，如LSTM和GRU，使用了一种称为"门控"的结构。

这些门控结构中的激活函数通常是不连续的，因为它们需要在某个阈值处进行切换。

4. PReLU激活函数：这是一种修改版的ReLU激活函数，它在负输入值处
的行为与常规ReLU不同。

PReLU在负输入值处有一个小的斜率，这使得
它在某些情况下能够更好地处理负值。

然而，它的导数在负输入值处是不连续的。

请注意，尽管这些不连续激活函数在某些情况下可能有用，但它们也可能会引入一些问题，例如梯度消失或梯度爆炸。

因此，在实践中，连续的激活函数（如ReLU、sigmoid或tanh）通常更为常用。