概率机器学习的鼻祖
2016-12-19
第一次接触到概率图是在PRML第八章，讲的不是很详细，可以说不详细，就是说了说啥是概率图而已。然后再cousra上看到这门课没有坚持下去。幸好，我T大有一门课就是用这书作为教材，我就选修了这门课。不上则已，一上而一发不可收。
清晰的框架无人企及。
把概率图分为表示推断与学习这三部分真的是太赞了。因为上完课后，也断断续续看了一半的书，结合自己平时接触到的model，发现，几乎所有的机器学习任务都是在做这三件事情，首先要完成一个任务就得弄清楚task，找到variables，猜测变量之间的关系，然后搞一堆圈圈与线将它们连接起来，这就是一个model～，太神奇了！然后，根据这个图我们可以得到其联合概率分布，然后有了观测数据就可以做最大似然估计，最大似然估计过程中用到图模型的推断的知识，这不就是机器学习的完整的过程吗？是这本书让我看清了这一切。
严谨的证明
这本书之所以这么厚，就在于它从一开始intuitive的例子说起来，然后再general到一般的情况，然后再搞一堆定理证明这样的general是对的。这个认知的过程简直惊叹。有人说这本书的缺点是证明太多，我不认同，如果没有严谨的证明，就不能称之为框架，就不能作为基石来用这种方法，就像foundations of ML这本书一样，你说它证明太多吗？好笑。没有证明你能知道机器学习为什么过拟合跟samples数量跟模型复杂度之间的关系吗？之所以能扛鼎，就是intuitive做到无敌，通俗易懂做到无敌，然后严格证明还是无敌。
集大成的review
这本书有好多地方也是没有详细介绍，但是作者给出了很多参考。这取决于读者看这本书的目的。如果你单纯就是想了解一下图模型是什么，草草看一下intuitive的东西就行了，如果想从原理的层面搞清楚为什么玻尔兹曼机的概率分布是那样，HMM，MRF的分布长那样，每一部分的含义是什么就得好好从表示学起了。概率图不是万能的，v-structure，imap，p-map等等这些理论就在说明模型的缺陷，但不妨碍概率图模型的强大的表达能力。本书的推断一部分讲了精确推断、近似推断（基于采样、变分、环状置信传播，等）都是相当实际要解决的问题。开眼界，涨知识。
我说这么多还有好多崇拜、惊叹之情溢于言表，得益于王飞跃老师的中译本，这门课至今来说对我的帮助最大。因为看论文上其他课也好，都能统一到概率图的框架下。真的是非常惊叹。
真实世界的联系用美妙的概率图表示出来，然后用参数，结构来表达、学习。值得永久回味的惊世之作。
查字典图书网
