玻尔兹曼方程详细推导（受限玻尔兹曼机）

玻尔兹曼方程详细推导（受限玻尔兹曼机）可以写出三个部分，包括与节点集合相关的两项以及与边其中能量函数。我们知道，无向图根据最大团的分解，可以写为玻尔兹曼分布的形式，这也是一个指数族分布。一个玻尔兹曼机存在一系列的问题，在其推断任务中，想要精确推断，是无法进行的，想要近似推断，计算量过大。为了解决这个问题，一种简化的玻尔兹曼机-受限玻尔兹曼机作出了假设，所有隐变量内部以及观测变量内部没有连接，只在隐变量和观测变量之间有连接，这样一来：

玻尔兹曼机是一种存在隐节点的无向图模型。在图模型中最简单的是朴素贝叶斯模型（朴素贝叶斯假设），引入单个隐变量后，发展出了 GMM，如果单个隐变量变成序列的隐变量，就得到了状态空间模型（引入齐次马尔可夫假设和观测独立假设就有HMM，Kalman Filter，Particle Filter），为了引入观测变量之间的关联，引入了一种最大熵模型-MEMM，为了克服 MEMM 中的局域问题，又引入了 CRF，CRF 是一个无向图，其中，破坏了齐次马尔可夫假设，如果隐变量是一个链式结构，那么又叫线性链 CRF。

在无向图的基础上，引入隐变量得到了玻尔兹曼机，这个图模型的概率密度函数是一个指数族分布。对隐变量和观测变量作出一定的限制，就得到了受限玻尔兹曼机（RBM）。

我们看到，不同的概率图模型对下面几个特点作出假设：

1. 方向-边的性质

2. 离散/连续/混合-点的性质

3. 条件独立性-边的性质

4. 隐变量-节点的性质

5. 指数族-结构特点

将观测变量和隐变量分别记为

。我们知道，无向图根据最大团的分解，可以写为玻尔兹曼分布的形式

，这也是一个指数族分布。

一个玻尔兹曼机存在一系列的问题，在其推断任务中，想要精确推断，是无法进行的，想要近似推断，计算量过大。为了解决这个问题，一种简化的玻尔兹曼机-受限玻尔兹曼机作出了假设，所有隐变量内部以及观测变量内部没有连接，只在隐变量和观测变量之间有连接，这样一来：

其中能量函数

可以写出三个部分，包括与节点集合相关的两项以及与边

相关的一项，记为：

所以：

上面这个式子也和 RBM 的因子图一一对应。

推断

推断任务包括求后验概率

以及求边缘概率

p(h∣v)

对于一个无向图，满足局域的 Markov 性质，即

。我们可以得到：

考虑 Binary RBM，所有的隐变量只有两个取值0 1：

将能量函数写成和 L 相关或不相关的两项：

定义：

代入，有：

于是就得到了后验概率。对于v的后验是对称的，所以类似的可以求解。

p(v)

其中，

叫做 Softplus 函数。