大数据的意义何在？

<图片1>
大数据由于各种乱七八糟的解释，都快成为烂大街的词汇了，但这些并不会掩盖大数据那些牛逼闪闪的光芒。作为曾经数据挖掘工作者，刚刚毕业那几年有幸与大量的数据打交道，深知数据可以带来的商业竞争力有里支持，而大数据也几乎覆盖了了传统商业到基因医疗工程的领域。发几个读完之后的联想，明白大数据重要意义的朋友，应该在这方面多发一些时间，绝对有帮助。

1. 大数据不是杂乱的数据，而是需要被整理和分离的

从事过出口数据的朋友在网络上可以找到一家叫PIERS的美国海关数据网站，这是一家提供集装箱收货人和发货人的资料，这些资料和AMS基本是同步的。通过对PIERS的产品门类遍历查询，可以获得来自全球各地卖家对美国输入的任何一种合法大量货品（需要进行运输）的数据，通过这些数据集合起来的买家和卖家交易量可以逐步发现市场的划分比例，以及相应的货物量，参考进出口金额，可以大致判断出一家公司的业务规模，如果有家公司你跟你吹牛逼他们每年要出口1000个标准集装箱的XXX产品，直接可以通过这种网站去查询，同样也可以通过这些数据来查询一些上市公司的业绩提升的真实性。此外还可以用这些数据做出很多有用的附加品，比如判断每年一些特殊节假日或者因为气候变化，整个出口市场的货品比例变化，挑选出最有市场规模的产品进行准备或者强攻。这些数据不但可以监控竞争对手的状态，也可以监控整个市场的发展情况，加快整个市场的开发效率。不过在中国大陆的这些企业中，除了少数上市公司外，很少有公司在使用这些数据改良自己的业务系统，大多时候也没有明确的发展重点和方向。

2. 大数据在医疗和股票交易系统上的使用

实际上，数据的使用从很早就开始了，从宫廷的孕期时机推算到各大农业日历演算，包括在100多年前我曾祖父行医写的方子。医生正是通过寻找病痛中的大量的症状，对症下药。今天大量的实验也是通过寻找差异化特征点来发现和校对出疾病的异常，属于脑力+体力的频繁工作。由于现代基因技术和计算机技术的崛起，很容易在数千万的数据样本中发现同样的一些症状和特征，同样在这些年的股票交易系统完善上，从大量的交易经验中去发现股票启动的各种异常点和特征点也正是许多短线研究爱好者的深度学习领域（33-1972-570），各种数据的构成，讲过去的一些规律特征提炼和分离出来，作为交易依据。

3. 大数据产品是互联网产品经理的必备资源

最早的网站访客数据分析工具比如google analytics多数时间是作为SEO工具主要用来发现客户在网络的使用习惯，点击从哪里过来又从哪里出去，客户对那些内容感兴趣等等，而今天的互联网产品已经无比丰富，使用的数据采集和分析工具任然远远不够，而且数据背后的访客资料信息越来越庞大，分离出一些特征性极强的客户，有利于针对性产品的推出，比如视频网站的广告植入分析等等。

3. 大数据依旧有很多的局限性

这些局限性在数据的采集和建模过程中会忽略一些细小的因素。但是其中有些因素通常会发展成最大的因素，是需要大规模优化数据分离模型才能得到的，大数据目前还处在非常原始野蛮的开发阶段，对大数据的高效使用和深入挖掘一定是一个庞大的市场，这个市场的存在意义正是提高整个社会资源的效率。一个新兴的行业。

---- 暂时写到这边，回头想想再聊。