读书笔记

《大数据时代》

        1. 大数据时代思维变革：

                -1. 可以分析更多的数据，不再依赖于随机取样，而是全体数据，即样本=总体
                        --1. 以前采集、存储、分析等技术不足、成本过高，而今技术发展使研究全体数据成为可能
                        --2. Mobile等技术兴起，导致数据生成几何级增长

                -2. 不再追求精确度，因为数据太多，非精确数据对于最终运算结果影响不大（类似边际效应），我们需要接受混乱和不确定性
                        --1. 小数据时代，追求用最少的数据获得最多的信息和尽量准确的结果
                        --2. 大数据的简单算法比小数据的复杂算法更有效
                        --3. 大数据时代，我们必须接受数据的不精确、不完美，我们必须接受这种混乱，而不是要避免
                        --4. Hadoop数据库实现了对超大量数据的处理，但是不能保证100%精确，需要容忍少量错误

                -3. 不再热衷于寻找因果关系，而重视相关关系，例如Amazon的also buy

                        --1. 知道是什么就够了，酌情决定是否继续研究为什么
                        --2. Walmart通过大数据研究出飓风时手电筒和蛋挞的销量会增加，就可以将这两个商品放在一起陈列
                        --3. 小数据时代，人们需要先假设相关再验证其相关性；大数据时代，可以根据数据计算，直接运算出相关性
                        --4. 基于相关关系分析法上的预测是大数据的核心
                        --5. 可以通过第三方代理来获取更多数据


        2. 大数据时代的商业变革：

                -1. 一切皆可量化：文字、地理位置信息、沟通（facebook、微信）……这些信息都可变成数据，我们需要从关注“技术”转变到关注“信息”
                -2. 取之不尽用之不竭的数据，需要创新：数据的价值从以前的基本用途转变为未来的潜在用途，数据越被使用价值越大

                        --1. 数据可以被再利用、可以与其他数据重组（如房产价格信息与地图相结合，可估算某区域的房产价格）、可扩展、折旧值（有些旧数据可能不增加价值，还会破坏新数据的价值，但是旧数据的潜在价值依然很大）、数据废气（指用户在线交互的副产品，例如浏览页面、停留时间等，google利用人们录入关键词的拼写错误，而自动推荐搜索关键词并提供拼写检查器和”自动完成“等功能从而利用了原本无效的数据）、开放数据给第三方
                        --2. 因为数据潜在价值都很大，所以我们目前需要收集尽可能多的数据，存储尽可能长的时间
                        --3. 数据也是无形资产，可以从授权给第三方需要收取的费用来对数据进行估值


        3. 大数据价值链：

                -1. 拥有数据本身的公司：直接拥有数据、间接拥有数据
                -2. 具备数据处理技能的公司
                -3. 具备数据创新思维的公司：就是一种意识
                -4. Google和Amazon是同时符合上述三个特征的公司
                -5. 数据中间商诞生，专家的消亡与数据科学家的崛起（不需要依靠自身知识体系做判断而依靠数据做决定，专业技能适用于小数据时代）

        4. 大数据时代的管理变革：

                -1. 风险：我们时刻暴露在监视之下，没有隐私，所有行为均可被预测
                -2. 需要配合相应的管理变革：例如保护隐私等