神经网络算法数学原理（神经网络原来是这样和数学挂钩的）

神经网络算法数学原理（神经网络原来是这样和数学挂钩的）我们来总结一下神经元和神经单元的不同点，如下表所示。请注意，式(2) 的输出y 的取值并不限于0 和1，对此并没有简单的解释。一定要用生物学来比喻的话，可以考虑神经单元的“兴奋度”“反应度”“活性度”。这里，u 是单位阶跃函数。我们将该式一般化，如下所示。这里的函数a 是建模者定义的函数，我们称为激活函数（activation function）。x1、x2、x3 是模型允许的任意数值，y 是函数a 能取到的任意数值。这个式(2) 就是今后所讲的神经网络的出发点。注：虽然式(2) 只考虑了3 个输入，但这是很容易推广的。另外，式(1) 使用的单位阶跃函数u(z) 在数学上也是激活函数的一种。

为了与生物学的神经元区分开来，我们把经过这样简化、抽象化的神经元称为神经单元（unit）。

将神经元的示意图抽象化之后，对于输出信号，我们也对其进行一般化。

上面我们提到，根据点火与否，生物学上的神经元的输出y 分别取值1 和0（下图）。

然而，如果除去“生物”这个条件，这个“0 和1 的限制”也应该是可以解除的。这时表示点火与否的下式（前边式(3)）就需要修正。

这里，u 是单位阶跃函数。我们将该式一般化，如下所示。

这里的函数a 是建模者定义的函数，我们称为激活函数（activation function）。x1、x2、x3 是模型允许的任意数值，y 是函数a 能取到的任意数值。这个式(2) 就是今后所讲的神经网络的出发点。

注：虽然式(2) 只考虑了3 个输入，但这是很容易推广的。另外，式(1) 使用的单位阶跃函数u(z) 在数学上也是激活函数的一种。

请注意，式(2) 的输出y 的取值并不限于0 和1，对此并没有简单的解释。一定要用生物学来比喻的话，可以考虑神经单元的“兴奋度”“反应度”“活性度”。

我们来总结一下神经元和神经单元的不同点，如下表所示。

将神经元点火的式(1) 一般化为神经单元的激活函数式(2)，要确认这样做是否有效，就要看实际做出的模型能否很好地解释现实的数据。实际上，式(2) 表示的模型在很多模式识别问题中取得了很好的效果。

四、神经单元的激活函数

Sigmoid 函数

神经单元激活函数的代表性例子是Sigmoid 函数σ(z)，其定义如下所示。