概率机器学习的鼻祖
2016-12-19
第一次接触到概率图是在PRML第八章,讲的不是很详细,可以说不详细,就是说了说啥是概率图而已。然后再cousra上看到这门课没有坚持下去。幸好,我T大有一门课就是用这书作为教材,我就选修了这门课。不上则已,一上而一发不可收。
清晰的框架无人企及。
把概率图分为表示推断与学习这三部分真的是太赞了。因为上完课后,也断断续续看了一半的书,结合自己平时接触到的model,发现,几乎所有的机器学习任务都是在做这三件事情,首先要完成一个任务就得弄清楚task,找到variables,猜测变量之间的关系,然后搞一堆圈圈与线将它们连接起来,这就是一个model~,太神奇了!然后,根据这个图我们可以得到其联合概率分布,然后有了观测数据就可以做最大似然估计,最大似然估计过程中用到图模型的推断的知识,这不就是机器学习的完整的过程吗?是这本书让我看清了这一切。
严谨的证明
这本书之所以这么厚,就在于它从一开始intuitive的例子说起来,然后再general到一般的情况,然后再搞一堆定理证明这样的general是对的。这个认知的过程简直惊叹。有人说这本书的缺点是证明太多,我不认同,如果没有严谨的证明,就不能称之为框架,就不能作为基石来用这种方法,就像foundations of ML这本书一样,你说它证明太多吗?好笑。没有证明你能知道机器学习为什么过拟合跟samples数量跟模型复杂度之间的关系吗?之所以能扛鼎,就是intuitive做到无敌,通俗易懂做到无敌,然后严格证明还是无敌。
集大成的review
这本书有好多地方也是没有详细介绍,但是作者给出了很多参考。这取决于读者看这本书的目的。如果你单纯就是想了解一下图模型是什么,草草看一下intuitive的东西就行了,如果想从原理的层面搞清楚为什么玻尔兹曼机的概率分布是那样,HMM,MRF的分布长那样,每一部分的含义是什么就得好好从表示学起了。概率图不是万能的,v-structure,imap,p-map等等这些理论就在说明模型的缺陷,但不妨碍概率图模型的强大的表达能力。本书的推断一部分讲了精确推断、近似推断(基于采样、变分、环状置信传播,等)都是相当实际要解决的问题。开眼界,涨知识。
我说这么多还有好多崇拜、惊叹之情溢于言表,得益于王飞跃老师的中译本,这门课至今来说对我的帮助最大。因为看论文上其他课也好,都能统一到概率图的框架下。真的是非常惊叹。
真实世界的联系用美妙的概率图表示出来,然后用参数,结构来表达、学习。值得永久回味的惊世之作。