笔记_数据挖掘技术书评-查字典图书网
查字典图书网
当前位置: 查字典 > 图书网 > 营销 > 数据挖掘技术 > 笔记
小K童鞋 数据挖掘技术 的书评 发表时间:2009-12-26 17:12:30

笔记

1.分类/预测:决策树算法

面向有规则问题时的有效方法,能发现数据中淹没的潜规则。对于分类记录或预测离散结果,决策树是首选。同时,决策树比其他技术需要的数据准备更少,几乎在每个数据挖掘工程中都会被用到。

尽管建树的算法有多种变体,建成的树的形态与效率也有差别,但具有相同的基本过程,即相对于目标变量而言,每一新生节点比其原生节点有更好的纯度。只要达到这个目标,多次迭代后总会得到对数据集的一个划分。

最佳拆分方式的度量:降低发散性,提高纯度。目前的纯度度量有基尼、熵、信息增益率和卡方等。使用基尼准则建立的树更倾向于产生两个纯度都较高的子节点的拆分,而不是一个更纯的加上一个大而不是很纯的子节点的拆分。熵准则更倾向于纯度,即时得到的节点很小。因此熵准则适合于确有清晰的潜在规则的领域,对市场营销这类模糊领域,会导致不稳定的树。

决策树的年轮图是很酷的表示方法,能够应用在商业环境中。

2.预测/分类/聚类:人工神经网络

训练网络的过程实际上是内部调整权重的过程
过拟合:在验证集上,较早几代往往比最终网络更好
前馈网络中要明确的核心问题:激活函数是什么、网络拓扑、反向传播是什么
隐藏层越宽,识别模式的能力越强。副作用是网络可能会记住某一种模式,我们需要网络从训练集中总结,而不是记住模式。
反向传播网络的最优化算法:爬山和模拟退火。危险在于陷入局部最优
神经网络是不透明的,我们无法了解他如何工作,灵敏度分析可以帮助我们观测这个网络(很有意思)

3.推荐与推理:最近邻(协同过滤)
这种算法是一种MBR(Memory-based reasoning),它能够适应不断加入的新数据,但同时也是数据贪婪者,需要大量历史数据

4.关联规则
三个判定规则:置信度、提升度和否定规则

5.链接分析:就是图论,欧拉图和哈密顿图的应用。Pagerank应该放在这部分,不过书中没讲。

6.自动聚类:k均值和GMM

7.市场营销中的风险函数和生存分析
客户行为的重要指标:保有期tenure,客户曾经多久为我们提供了很多信息。客户半衰期:用衰变曲线解读客户。
风险的定义:假设用户已经保有t时间,其在t+1之前离开的概率
常用模型:浴缸型函数

8.遗传算法:通过进化实现最优化的强力技术,显然可以用来训练神经网络。进化功能的关键参数:基因组、适应度函数

9.一个数据挖掘团队需要的知识体系
RDBMS技能(SQL)
工具与编程(SAS、SPSS...)
统计学
机器学习技能
行业知识
数据可视化技能
访问及需求收集技能
展示、写作与沟通

展开全文


推荐文章

猜你喜欢

附近的人在看

推荐阅读

拓展阅读

对“笔记”的回应

不再蒙懂 2013-04-21 20:31:03

不是数据研究的专业人士,书里会不会涉及到专业知识太多?目的只是想从数据角度对市场营销有个全面的认识,是否推荐这本书?

Sigurd 2012-09-21 14:37:45

最近跟一些挖掘的人沟通,这两年应用跟算法的变化都比较大;

文本挖掘,knn,kmeans、SVM用得更多;神经网络日落西山

影月 2011-02-23 16:30:54

2009-12-26 22:27:16 D.米诺夫斯基
  这书没讲 购物篮算法? 看的时间长了,记得不太清楚了。

购物篮的内容在第9章,《购物篮分析和关联规则》。

小K童鞋 2009-12-29 15:54:19

2009-12-29 14:44:24 Jack  很好,赞!

谢谢

Jack 2009-12-29 14:44:24

很好,赞!

小K童鞋 2009-12-26 23:41:03

购物篮算法只是提了一下,协同过滤的k近邻算法上课已经比较熟悉了,就没多写:)

GMM是高斯混合模型,很万金油的一个东西

黑枪王荣格 2009-12-26 22:27:16

这书没讲 购物篮算法? 看的时间长了,记得不太清楚了。

关于 协同过滤 的结论有点草率。

自动聚类的GMM是虾米? 这个不记得了