大数据时代

精华解读

本期为你解读的书是英国数据科学家舍恩伯格所写的《大数据时代》。

据报道，2013年，国家发改委在总结人口流动趋势统计过程时，有位官员提到用“榨菜指数”来看流动人口的迁徙变化。当他讲到榨菜时，很多人产生疑惑：人口流动如此庞大的数据，为什么会和一包榨菜发生关联呢？

这个问题回答起来并不复杂，但明白它背后隐藏的思维方式和技术，对生活在这个时代的我们来说也很重要。今天，当你听完《大数据时代》这本书，你就会明白，为什么会把榨菜和人口流动趋势联系在一起，为什么说这种思维方式和所运用的技术具有划时代意义。

最近几年，大家应该都或多或少都听说过“大数据”这个词。不知不觉中，大数据的分析技术应用已经渗入我们生活的方方面面，例如购物平台里精准的“猜你喜欢”、疫情期间的流调防控、导航地图中实时更新的道路信息……当今世界可称为“大数据时代”。

其实，早在十二年前，“大数据时代”这个概念就被英国的数据科学家舍恩伯格也就是本书的作者所提及，他曾经发表了一系列的论文，预测大数据分析技术普及后世界的改变。如今，他的展望已经成为了现实。他创作的这本《大数据时代》是非常优秀的科普读物，能帮助我们更好地了解当下的信息社会。在接下来的解读中，我主要从思维、商业和管理三大变革展开，为你介绍大数据给人类社会带来了哪些改变，了解大数据分析法在日常生活中的应用，以及它给个人带来的影响。

在这之前，先问你一个问题，你知道什么是大数据吗？

大数据又称巨量资料，指的是规模特别巨大的资料量。这个“大”到底有多大？以2020年互联网一天的数据量为例，互联网一天发出的邮件超过3000亿封，上传的图片超过5亿张……这个数据规模还在不断增加，主流的软件工具已经无法在合理时间内撷取、处理并管理这么庞大的数据量。

作者舍恩伯格对大数据的研究已有多年。2010年，他在《经济学人》杂志上发表了长达14页的大数据专题文章，公布了他对大数据的前瞻性研究。之后，他整理出版了《大数据时代：生活、工作与思维上的大变革》这本书，“大数据时代”的概念便随着他的著作广为人知。舍恩伯格在书中指出，大数据开启了一次时代的转型，大数据带来的信息风暴将会改变我们的生活、工作与思维，对此，他分别从思维变革、商业变革和管理变革三个方面展开论述：

我们首先来看第一大变革——思维变革。

大数据时代的到来改变了统计学思维的方式。以前，统计学家注重数据的精准性，通常采用随机抽样分析数据。但在大数据时代，我们对数据的态度发生了变化，我们追求所有数据而非少量的，接受繁杂的而非精确的，尽管随机抽样仍是重要的实验方法之一，但在很多情况下，研究者会采用更加客观、有效，也更不容易出错的数据处理方法，就是大数据分析法。

以DNA分析为例。科学家经过研究发现，有些疾病之所以是绝症，是因为人类在这些疾病上存在抵抗缺陷，如果找出这些缺陷，医生就能按照患者需求开药，提高治愈率。但这是一项非常庞大的工程，每个DNA分子有上千个基因，人体所含的基因总数有两万个以上。如果用抽样法，仅分析患者的一小部分DNA，标记出其中的缺陷，这只是该患者整个基因密码的样本，不能让医生预知病情恶化的所有可能；而如果利用大数据分析，整合该患者的所有基因数据，建立个人基因密码的数据文档，一旦发生病变，药物失效，医生就能及时更换另一种药，大大提高患者治愈率。与随机抽样相比，这就是大数据分析法的优势。所以，在大数据时代，我们经常需要放弃样本分析，而选择收集全面完整的数据，更有效、全面地分析和解决问题。

这种思维和方法变化的原因是人类技术的进步。过去很长一段时间内，精准分析大量数据对我们而言是一种挑战。因为记录、储存和分析数据的工具不够好，数据交流被认为是一种自然而然的困难。当信息的数量十分庞大时，我们一般采用随机采样的方法开展分析。这个方法对样本的随机性有非常苛刻的要求。设想一下，我们要展开一项人们生活幸福度的调查，选择1000个人，这1000个人该怎么选：男女的性别比例是多少，他们的收入层次怎么分配，以及他们来自哪里……等等，这些因素都会影响调查结果。一旦在样本选择上存在任何偏见，预测的结果就会大错特错。由此可见，实现采样的随机性是很困难的。在深层次的细分领域中，随机采样结果的错误率会更大。

现在，数据处理技术发生了天翻地覆的变化，我们掌握的数据越来越全面，它不再只是手头的一点数据，而是包含了与现象相关的大量数据，我们能从中捕捉到许多微观细节的信息，这是采样分析无法做到的。庞大的数据库中，尽管无法避免个别错误数据的出现，但因为掌握的数据量足够大，我们依然能够分析出事物的发展趋势。换句话说，大数据时代的到来推动我们学会接受数据的庞杂，从一个更大、更全面的宏观角度理解事物。

视角扩大后，我们接触的信息也就变多了，一些事物之间的关系是我们过去难以联想到的。你知道啤酒和尿布的联系吗？“数据挖掘”课程中有一个经典的案例：沃尔玛通过对超市里人们购买行为的大量数据分析，发现男人们来买啤酒的时候，通常也会买尿布。于是，超市将尿布和啤酒摆放在一起出售，可以提高利润。

如啤酒和尿布之间存在相关关系一样，放眼大数据的整个数据集，事物的相关关系还有很多。就像我们开始提到的“榨菜与人口流动统计”：榨菜是一种低质易耗品，一般情况下，城市的榨菜消费基本稳定，销量的变化主要来自于人口流动，所以，榨菜在全国各地区销售份额的变化可以反映人口流动趋势。2009年到2012年，榨菜在华中、中原、西北地区的销售份额上升，与这几个地区的农民工回流增长吻合。国家发改委在起草规划时，通过监测榨菜的消费量，运用大数据算法分析，便可比较准确地预测出人口的流动趋势。在大数据时代，比起因果联系，找寻事物的相关关系更加重要，它是大数据分析法预测的基础。我们不需要再为解释现象而提出假设予以求证，因为大数据的相关关系分析法更准确、更快，而且不易受到偏见的影响。

总的来说，大数据带来的思维变革主要有三个方面：从依赖随机采样，到追求全面完整的数据；从注重数据的精准度，到允许数据库中出现少数错误；另外，我们也更多注意到事物之间的相关关系，用以帮助我们捕捉现在和未来。

除了带给人类思维冲击外，大数据也让商业领域重新洗牌。在本书第二大部分——商业变革中，舍恩伯格分别从数据化、价值和角色定位展开了三个方面论述。他说，大数据时代的一切皆可数据化，数据的价值达到了前所未有的高度，在数据、技术与思维三足鼎立的时代，信息是商业的致胜法宝。