大数据技术索引
2015-01-12
对大数据的初步感官是使用hive(hadoop SQL接口)查询，等结果等的很焦急 ,然后陆续接触到了NoSQL存储（mongodb http://danqingdani.blog.163.com/blog/static/1860941952014110756412/ http://danqingdani.blog.163.com/blog/static/1860941952014214112153146/ ，redis http://danqingdani.blog.163.com/blog/static/18609419520142196591588/），但基本都只使用了查询功能，再就是与数据团队的合作知道了Spagobi,Pentaho等报表工具，周会上知道了日志传输平台容易出数据丢失不同步机器down掉的Bug——kafka消息系统与flume日志收集系统，然后在察看日志分析相关工具（我总是从工具入手来学习某一领域的知识），知道了elasticsearch 与 sphinx搜索引擎，漂亮的kibana前端web UI，在动手进行日志分析的时候，知道了hadoop取数据，序列化数据的解析（protocolBuffer， PB格式的听说却是三年前来自网游通信协议设计，还愚蠢地抱怨为啥不是标准的json格式，不好进行下一步处理）MapReduce批处理方式与Storm流式处理方式。而这本书正好将我陆续知道的一些零星概念串起来了，并确认了自己在大数据处理中的定位是数据分析（计算），不是数据存储，不是数据通信。
如果你仅仅是想在大数据中书皮学一下，看本书第0章的两幅图就OK了。
最后，作者估计是王菲的粉丝，开章语中有5首王菲的歌，我也很喜欢。
查字典图书网
