神经网络算法数学原理（神经网络原来是这样和数学挂钩的）

神经网络算法数学原理（神经网络原来是这样和数学挂钩的）经过这样处理，式子变漂亮了，也不容易发生计算错误。这个b 称为偏置（bias）。再来看一下激活函数的式(2)。这里的θ 称为阈值，在生物学上是表现神经元特性的值。从直观上讲，θ表示神经元的感受能力，如果θ 值较大，则神经元不容易兴奋（感觉迟钝），而如果值较小，则神经元容易兴奋（敏感）。然而，式(2) 中只有θ 带有负号，这看起来不漂亮。数学不喜欢不漂亮的东西。另外，负号具有容易导致计算错误的缺点，因此，我们将- θ 替换为b。

关于这个函数，我们以后可以继续深入学习。这里，我们先来看看它的图形，Sigmoid 函数σ(z) 的输出值是大于0 小于1 的任意值。此外，该函数连续、光滑，也就是说可导。这两种性质使得Sigmoid 函数很容易处理。

右图是激活函数的代表性例子Sigmoid 函数σ(z) 的图形。除了原点附近的部分，其余部分与单位阶跃函数（左图）相似。Sigmoid 函数具有处处可导的性质，很容易处理。

单位阶跃函数的输出值为1 或0，表示点火与否。然而，Sigmoid 函数的输出值大于0 小于1，这就有点难以解释了。如果用生物学术语来解释的话，如上文中的表格所示，可以认为输出值表示神经单元的兴奋度等。输出值接近1 表示兴奋度高，接近0 则表示兴奋度低。

偏置

再来看一下激活函数的式(2)。

这里的θ 称为阈值，在生物学上是表现神经元特性的值。从直观上讲，θ表示神经元的感受能力，如果θ 值较大，则神经元不容易兴奋（感觉迟钝），而如果值较小，则神经元容易兴奋（敏感）。

然而，式(2) 中只有θ 带有负号，这看起来不漂亮。数学不喜欢不漂亮的东西。另外，负号具有容易导致计算错误的缺点，因此，我们将- θ 替换为b。

经过这样处理，式子变漂亮了，也不容易发生计算错误。这个b 称为偏置（bias）。