概率图模型综述

这篇文章中，我将对概率图模型做一个简单的综述，以使读者能尽快了解其大概思想，而忽略其背后的具体的数学推到过程。主要是因为自己的论文使用条件随机场的缘故，所以我就顺便把概率图模型理解下。

概率与图简述

很多事情是具有不确定性的。人们往往希望从不确定的东西里尽可能多的得到确定的知识、信息。为了达到这一目的，人们创建了概率理论来描述事物的不确定性。在这一基础上，人们希望能够通过已经知道的知识来推测出未知的事情，无论是现在、过去、还是将来。
涉及到概率的相关问题，无论有多复杂，大抵都是基于以下两个式子的——加法准则和乘法准则：

下面这张图描述的就是一张图，它由带有数字的圆圈和线段组成，我们将圆圈成为结点，线段成为边，那么这个图就可以表示为G(V, E), 其中V是顶点集合，E是边的集合。如果边有方向，那么G为有向图，若没有方向，那么G为无向图。具体的关于图的知识，可以参考离散数学中图论相关知识。

概率图

前面简单阐述了概率和图论的知识，下来说概率图。

在数学上，有的概念本身开始不存在，是由后来其它基本的概念组合演化而来的。所以概率图也是属于这么一种情况。概率图本身开始并不存在，它是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl。总体来说，概率图使得概率模型可视化了，这样就使得一些变量之间的关系能够很容易的从图中观测出来；同时有一些概率上的复杂的计算可以理解为图上的信息传递，这是我们就无需关注太多的复杂表达式了。最后一点是，图模型能够用来设计新的模型。所以多引入一数学工具是可以带来很多便利的，我想这就是数学的作用吧。

概率图使用图G(V, E)来表示随机变量X的概率分布，其中X对应着图中的顶点集合V，变量之间的依赖关系可以由顶点之间的边表示，若两个顶点间有一条路径相通，那么这两个顶点所表示的变量之间就有依赖关系，否则互相独立。

方向的问题

既然图分为有向和无向两种，那么概率图也是分为有向和无向两种。有向图的代表为贝叶斯网络，无向图的代表为马儿科夫随机场。

概率有向图

举个例子，譬如有一组变量X1，X2….XN，如果每个变量只与其前一个变量有关（1阶马尔可夫过程），那么以下等式成立

那么如何用图来表示这一关系呢？自然，我们要表示的是右边的式子，右边的式子表示了变量之间的联系。而当我们观察条件概率时，我们发现我们必须要指明哪个是条件。如果我们采用变量为节点，采用无向图这种节点等价的关系显然不能直接描述条件概率，因此这里选择了有向图来描述这一关系，即表示为P(X2|X1)

那么此时上述的1阶马尔可夫过程表示为，注意其中没有箭头指向X1，故表示p(X1)意味着无条件。

有向图模型，或称贝叶斯网络，描述的是条件概率，或许这就是其被称为贝叶斯网络的原因吧。

概率无向图

对于概率无向图，主要区别与概率有向图的是，其中的随机变量满足成对，局部，全局马儿科夫性，那么就称此概率图为概率无向图模型，或马儿科夫随机场。

其实，我这里除了无向图的马儿科夫性的定义，对于概率有向无向图的区别，我还是不能分清，因为我认为有向图之于无向图，最大的区别在于方向性，概率的方向性在于条件依赖。

参考文献

概率图模型的理论与实战
CMU Probabilistic Graphical Models