快捷搜索:  汽车  科技

深度计算公式(深度学习公式推导)

深度计算公式(深度学习公式推导)具体的激活函数a,可以用Sigmoid 函数来代替。所以,上面的公式是一个阶跃函数,结果是0和1,也就是线性函数。但是在实际情况中 y 点火这件事情是存在概率的,例如 64% 的机率点火,有36%的机率不点火。为了达到这个效果就需要将 线性函数转化成非线性函数,这里就需要引入激活函数,激活函数可以将点火这件事的概率描述清楚。如果说我们将这个激活函数称作a 的话,那么就将公式变为如下样子:

深度计算公式(深度学习公式推导)(1)

上一节讲到神经元接受到信号量以后点火的公式:

深度计算公式(深度学习公式推导)(2)

深度计算公式(深度学习公式推导)(3)

x1、x2、x3是否有信号输入,w1 、w2、w3 是信号量的权重,θ 是点火的阀值,最后得到的结果y 表示是否点火, 结果 0 表示 不点火, 结果1 表示点火。

激活函数

虽然通过上面的公式我们可以得到y 是否点火,这里有一个假设,也就是y 只有两种结果,也就是点火或者是不点火。

所以,上面的公式是一个阶跃函数,结果是0和1,也就是线性函数。

但是在实际情况中 y 点火这件事情是存在概率的,例如 64% 的机率点火,有36%的机率不点火。为了达到这个效果就需要将 线性函数转化成非线性函数,这里就需要引入激活函数,激活函数可以将点火这件事的概率描述清楚。

如果说我们将这个激活函数称作a 的话,那么就将公式变为如下样子:

深度计算公式(深度学习公式推导)(4)

具体的激活函数a,可以用Sigmoid 函数来代替。

深度计算公式(深度学习公式推导)(5)

猜您喜欢: