“大数据”还不等于“大智慧”

本篇文章3244字，读完约8分钟

近年来，大数据已经广泛传播。面对技术开发商和媒体记者铺天盖地的宣传，你怎么能不知道大数据呢？即使我不知道，我也一直听说过。让我们看看他们是如何大力推广所谓的大数据的:大数据无所不知，无所不能；在大数据的支持下，公司的运营效率突飞猛进；大数据还可以帮助您理解数据，做出最明智的决策，并让您的公司始终充满竞争优势。

多么诱人的宣传啊！当然，我们不能百分之百地说这份报告与事实相反。只是人们总是过于乐观，走在高科技宣传的前面。事实上，许多公司发现在当前条件下很难实现大数据，理想是满满的，但现实却非常渺茫。事实上，它在数据收集和处理方面可能有相当大的优势。然而，真正使用这些数据，甚至使用它们来做出更好的决策，则完全是另一回事。那么问题在哪里？大多数公司表示，大数据和对大数据的大理解之间有着重要的联系。如果这个问题不能解决，人们只有一堆看似有用的数据，但很难挖掘出有用的价值。

正如硅谷一位资深业内人士最近透露的那样，尽管从初创企业最近的活动和融资情况来看，大数据的数据收集和处理似乎受到了广泛关注，但现实与预期之间的巨大差距不容忽视。他说，大数据并没有真正变成大知识、大漏洞和大智慧。根据他们的预测，在真正的大数据时代到来之前，我们还有很长的路要走。

炒作和现实不能混淆

我们希望从大数据中获取价值的方式越简单越好，比如导入数据、运行程序以及最终得出有远见的结论。你认为这可能吗？如果智慧如此容易获得，那么每个人都可以成为乔布斯。事实上，从大数据中获取有价值的信息比导入、运行和输出三部曲要复杂得多。《数据部门:大数据战略》一书的作者帕姆·贝克说，数据直接给出答案的例子确实存在，但它们只存在于特定的情况下，很少发生。我们不能指望例外，我们需要普遍规律。

也许，有些人会认为我们可以举出许多例子，在这些例子中，数据往往可以给出非常明确的答案。例如，预测分析可以准确地预测飞机或供水系统中某个部件的报废时间，还可以告诉我们更换该部件的最佳时间，以便在旧部件报废之前最大限度地利用其剩余价值。贝克解释道。

然而，她立即强调，在更多的情况下，我们不能直接得到我们想要的答案。你可以从许多可能的行为中选择一种，或者什么也不做。这是我们面临的真实情况。

贝克打对了。一些基于数据的决策也是如此。数据不是冰冷的数字，它们是感性的精灵。布鲁斯·路·斯普林斯汀在一首歌中唱道，他们需要一点人情味。人们可以通过开发好的索引和强大的算法来挖掘数据。但这远远不够。人们必须通过自己的知识和观点了解数据的内部世界，并充分利用数据背后的价值。有些数据是直截了当的，而有些是委婉的，所以我们不能一概而论。

算法的局限性

此外，我们希望大数据能够让企业用户直接、即时地访问数据，这样他们就可以随时随地做出最佳决策。愿望是美好的，但以我们目前的技术条件，我们无法达到如此复杂和神奇的程度。

为了实现这一点，我们需要足够的数据专家来帮助我们分析和处理数据，并从大量的信息中提取有效的信息。Keith Lulabos与kholsa ventures一起投资了几家大数据技术公司(如parstream)，他表示，该公司需要一名数据专家来指导复杂数据分析的处理，但大多数企业用户很难做到这一点。

Lapos说，你将需要这些数据专家来开发应用程序和算法，并承担大量的数据研究任务。但是在已经拥有这些数据专家的公司中，这些数据专家并不总是从事这些高级和复杂的数据工作，部分原因可能是他们需要花时间处理一些相对简单的数据分析。数据专家的才能被深深埋藏在这里。

在最好的情况下，Rabos继续说，数据专家已经开发了一套工具，当一方需要答案时，可以在整个组织中快速找到分析性的答案。在当今时代，速度就是一切。我们最不希望看到的事情是，当我们迫切需要答案时，我们只能指望数据专家，被动地等待。

出发点是好的，但问题是即使是最聪明的人也开发出了最复杂的算法，而这个复杂的问题仍然没有直接的答案。不管算法有多复杂，它都不能被完全考虑，对于难以度量的具体因素更是无能为力。如果一个算法能做到这一切，它与人脑没有什么不同，那么麻烦可能会更大。

我需要一名优秀的中场

棒球比赛可以帮助我们更好地理解算法的局限性。两个水平相同的运动员可以在很远的地方表演。数据极客会告诉你，经过多年的研究和开发，他们已经创建了sabermetrics算法，它可以为你提供选择最佳玩家所需的所有决策信息。他们还开发了一整套统计算法，比如上面的wins替换。方拉夫斯对替补胜率的解释如下:如果一名球员受伤不能上场，当他们的球队不得不找一名亚联赛球员或更差的替补球员时，损失是什么？在这方面，他们采用了一系列标准来衡量和计算他们之间的胜率差异。

如果这种复杂的算法只是用来准确衡量玩家的价值，那就不是什么大问题了。但是有一些问题，比如一个球员在压力下表现如何？他练习努力吗？他是什么样的队长？或者他和队员们相处得怎么样？这些问题应该如何用算法来计算？这些问题不重要吗？如果我们想将Be纳入算法的考虑范围，我们如何量化这些因素？

纯数据分析的追随者会告诉你一切都可以量化，也许他们是对的。但我见过很多水平相同的球员。在几乎相同的条件下，它们的性能是不同的，尽管从数据分析来看，它们的性能应该是相近的。

在企业中，人力资源专家在招聘自由程序员时会遇到类似于棒球运动员的情况。你可能有两个具有相同专业技能的候选人来申请这个职位，但其中一个人有更好的人际交往能力，能与同事很好地合作，而另一个候选人很难相处和合作。显然，仅仅从你的简历中很难看到这些软实力。即使有大量的数据支持，也很难考虑所有方面的可能结果，尤其是当涉及到人的时候。

彼此相距一千英里

任何一个负责任的医生都会严格地告诉你，即使两个病人的症状非常相似，采用的治疗方法也不会一样，仍然需要严格根据个体差异来确定。年龄、体重、其他健康问题和特殊因素都会影响最终的治疗效果。

以ibm沃森为例，这是一个用于医疗的智能分析平台。当我告诉一个朋友，最近一些医生开始用沃森来辅助诊断和制定治疗方案时，他立刻大发雷霆。他坚持说他不需要机器来决定他的健康问题和治疗。他的担心是完全有道理的，但在沃森的例子中，这种机器并不直接为医生提供一个可以盲目遵循的答案，而只是根据现有的体征、患者信息和疾病，结合目前对这种疾病的科学研究结果，给出一个参考治疗方案。

就像我之前描述的数据专家一样，医生也很忙，他们不能在熟悉他们领域所有最新发展的同时看病人。相关的研究太多了(这当然是件好事)。所以他们需要沃森的帮助。沃森可以快速过滤当前的研究，但医生仍需要根据实际情况决定最终的治疗方向。我更喜欢把这个过程称为科学中的艺术。知识给我们带来了无限的可能性，但最终的决定仍然在于医生，而不是机器。

企业也将面临类似的不确定性。此时，人们需要进行干预，利用他们的知识和数据的力量来为不确定性做出决策。

未来我们能走多远？

很多时候，机器可以给出人们需要花费数年才能得到的答案和预见。贝克指出，例如，大数据帮助我们对疾病，尤其是癌症有了更深的理解，并且有许多方面人类研究人员从未涉及过。如果没有大数据为我们提供足够的数据信息，我们永远也找不到最好的治疗方案(至少近年来没有希望)。我在这里想说的是，大数据确实非常准确。

此外，她还相信，在不久的将来，机器的学习能力肯定会达到足够成熟的阶段。那时，机器也许能为我们做出更多的决定，因为毕竟，人类的大脑是有限的，不能同时处理所有可用的信息。

我不能说她的期望是错误的，但目前，收集和处理数据的能力远远超过理解这些数据的能力。贝克还说，预测分析一直在发展，有时数据可以直接给出答案，但在更多情况下，它仍然是一个复杂的人机交互过程。即使随着技术的不断发展，两者之间如何完美地合作仍然是一个难题。

除非我们能找到一个折中的办法或大大改进机器技术，否则我们仍将面临一个智慧的缺口，这需要时间和技术进步来慢慢填补。