11.2 概率图模型学习

概率图模型的最基本的假设是条件独立性。图形化表示直观地描述了随机变量之间的条件独立性，有利于将复杂的概率模型分解为简单模型的组合，并更好地理解概率模型的表示、推断、学习等方法。
图模型与神经网络的区别：图模型的节点是随机变量，其图结构的主要功能是描述变量之间的依赖关系，一般是稀疏连接。使用图模型的好处是可以有效地进行统计推断；而神经网络中的节点是神经元，是一个计算节点。
在概率图模型中，对于不含隐变量的参数估计的学习，如果变量x是离散的，简单直接的方式是在训练集上统计每个变量的条件概率变。如果条件概率表需要的参数比较多，为了减少参数数量，可以使用参数化的模型，比如Sigmoid信念网络。如果变量x是连续的，可以使用高斯函数来表示条件概率分布，称为高斯信念网络。
对于无向图模型，由于在最优点时梯度为0，因此无向图的最大似然估计的优化目标等价于：对于每个团上的特征fc(xc)，使得其在经验分布p(x)下的期望等于其在模型分布p(x;\theta)下的期望。
无向图的参数估计通常采用近似的方法：1）利用采样来近似计算这个期望；2）采用坐标上升法，即固定其他参数，来优化一个势能函数的参数。