大数据时代对新时代的引领——零售业的小而精vs金融投资的强者通吃

大数据时代的金融投资思维
　　
　　金融数量化投资由于其巨大收益，是大数据最早应用的领域，而其也符合大数据最重要的三大思维变革：
　　
　　1)不是随机样本，而是全数据。 根据作者的定义， 大数据是指不用随机分析，而采用所有数据的方法。
主因有二，一是当前的技术能力让人类可以处理海量的数据， 二是随机样本无法获取某些有用的信息，比如跨境汇款中的异常交易。
　　量化投资与图表派技术分析不同，用全数据进行分析，了解指标或信号在整个数据集上的统计优势，比如我们建立交易策略时就是用了10年所有股票的日内数据。
　　
　　2)不是精确性，而是混杂性
　　
　　大数据时代精确不可能实现，反之用概率说话，混杂性变成了一种标准途径。 对一个交易策略，只要透过全数据分析，在概率上他是能够长期稳定盈利的，即可被投资者考虑采纳。 而到底哪笔交易赚钱，哪笔交易赔钱，虽然投资者很好奇，但交易策略无法给出精确的答案，从某种程度上讲也是无意义的。
　　
　　3)不是因果，而是相关性
　　 在大数据时代，是什么比为什么更重要。 虽然这违背了人类好奇和探索的天性，但知道是什么对决策的帮助确实有限。
　　 比如，策略预测某个模式出现后该股票有很大概率上涨，如果执迷于探究股价上涨背后的基本面缘由，则成本过高，也确实无法得出准确的原因。
　　
　　
　　大数据时代对交易策略的研发提出了几大要求。
　　
　　1) 量化非结构的数据(unstructured data)。 比如国外的对冲基金和我们自己都曾尝试量化财经新闻，用情感度的变化帮助决策。 但至今为止，没发现某个基于情感分析的策略能够带来稳定明显的收益。
　　2) 数据的再利用。 Amazon利用用户的购书记录推荐新书，我们是否可以利用用户的观点和交易记录做协助学习(collaborative filtering)，帮助策略作出更好选择？
　　3) 数据的重组。 把多个数据集的总和重组在一起往往能提高单个数据的价值。 这就好像除了利用股价信息，加上从财务报表提取的因子能提升预测水平一样。做好多因子分析也是我们今年重点研发的方向。
　　
　　大数据时代与金融投资的未来
　　
　　1) 投资者的扁平化。 随着互联网和移动互联网带来的信息化革命， 个人投资者将能够轻松使用有大数据实证支持，低风险交易策略，投资能力将大幅提升。
　　2) 金融市场更加高效。大数据时代令有盈利能力的交易策略能够被更快的发现，验证和应用，金融市场也会变得变得更加有效，起到更好的分配财富作用。
　　3) 平庸的基金公司将消亡。大数据让科技公司第一次有机会能够挑战传统的金融分析师和交易员，利用对各种全体数据的量化，重组和整合，低成本的建立针对各个市场，面向不同用户的交易策略，让投资者能够科学稳定的在全球市场投资。 实际上，管理1200亿资产，全球最大的对冲基金Bridge Water已经很接近这一点，他们搜集了近百年的金融数据建立交易模型，覆盖全球外汇，债券，衍生品和股票市场，其99%的交易都由电脑决策作出。不远的将来，普通的共同基金将被根据大数据分析提供交易策略的公司所取代，留下的基金公司将是那些能够提供独特优势(alpha)的对冲基金和自营基金(如高频基金和统计套利型基金)。
　　
　　
　　大数据时代的挑战
　　
　　1) 让普通人接受大数据时代的思维。 这是最难也是最容易被忽略的部分。 普通投资大众，习惯关注每只股票的输赢，关注购买每只股票背后的原因和故事。 现在，需要他们忽视这些，转而关注概率和相关性， 关注交易策略的整体表现， 这就需要金融大数据分析的公司帮助投资者完成信念的飞跃。
　　2) 吸引最优秀的人从事大数据系统和模型的构建。 金融行业的高收益将人才吸引到了投行和对冲基金，如何在大数据建立盈利模式，让参与大数据开发的人获得高收益，这就需要建立大数据时代的盈利模式。
　　
　　大数据 VS. 理论
　　
　　最后， 不得不说说最有争议的理论与大数据的关系。 连线主编Anderson关于“理论已死”的观点我不太认同，理论可以在交易策略研发的数据选择，建立和应用假想中起到重大帮助。毕竟，再好的大数据分析也无法替代人类创造性的思维和理解。
　　
　　例如，在Hedge fund market wizards一书中Jaffray Woodriff描述了数据驱动的大数据分析法。基本想法是尝试千亿种适合不同市场的二次变量组合(如价格的方向和波动率)，找出能预测市场位置的统计模型。 但是，即使利用此方法，其实也使用了金融的理论创建如波动率这样的关联物，同时也选择了架构合适的时间周期作为搜索的基础(Jaffray使用的是每日数据)。
　　
　　如果只关注数据，忽视了未来不等于过去的现实，就容易犯长期资本管理公司(LTCM)当年的错误，给自己甚至整个行业造成巨大的损失。因此，在从事大数据研究时，一定要注意对找出的相关性模式进行逻辑分析和样本外测试(out of sample testing)，最好是发现的相关性模式不仅在样本外表现稳定，而且又具备理论上的合理性，毕竟同把尿片和啤酒放在一起不同，在金融行业使用无效模式的后果是相当严重的。