大数据技术索引_大数据日知录书评-查字典图书网
查字典图书网
当前位置: 查字典 > 图书网 > 算法 > 大数据日知录 > 大数据技术索引
碳基体 大数据日知录 的书评 发表时间:2015-01-12 12:01:30

大数据技术索引

对大数据的初步感官是使用hive(hadoop SQL接口)查询,等结果等的很焦急 ,然后陆续接触到了NoSQL存储(mongodb http://danqingdani.blog.163.com/blog/static/1860941952014110756412/ http://danqingdani.blog.163.com/blog/static/1860941952014214112153146/ ,redis http://danqingdani.blog.163.com/blog/static/18609419520142196591588/),但基本都只使用了查询功能,再就是与数据团队的合作知道了Spagobi,Pentaho等报表工具,周会上知道了日志传输平台容易出数据丢失不同步机器down掉的Bug——kafka消息系统与flume日志收集系统,然后在察看日志分析相关工具(我总是从工具入手来学习某一领域的知识),知道了elasticsearch 与 sphinx搜索引擎,漂亮的kibana前端web UI,在动手进行日志分析的时候,知道了hadoop取数据,序列化数据的解析(protocolBuffer, PB格式的听说却是三年前来自网游通信协议设计,还愚蠢地抱怨为啥不是标准的json格式,不好进行下一步处理)MapReduce批处理方式与Storm流式处理方式。而这本书正好将我陆续知道的一些零星概念串起来了,并确认了自己在大数据处理中的定位是数据分析(计算),不是数据存储,不是数据通信。
如果你仅仅是想在大数据中书皮学一下,看本书第0章的两幅图就OK了。
最后,作者估计是王菲的粉丝,开章语中有5首王菲的歌,我也很喜欢。

展开全文


推荐文章

猜你喜欢

附近的人在看

推荐阅读

拓展阅读