面对大数据挑战，何去何从？
从供应商的角度而言，这种数据爆炸使得整个行业措手不及。 他们开发的整个生态系统是以某种定价和收益模型为基础的，而一旦数据达到这些全新量级，这种模型将无法发挥作用。 从工具和供应商角度而言，这导致了巨大变动，并推动了工具激增。
我们都知道，大数据中的很多数据来自于20 年前尚不存在的设备。 这些数据还来自过去虽然存在但当时尚无法编写数据的事物，如洗碗机和电冰箱。 当网络开始出现时，我还没有产生关于我的人口统计和心理统计行为信息的点击流量。
HP Vertica 首席工程师 Walt Maguire 表示：“很多优秀企业正在努力开发敏捷流程，并将他们的数据技术要求视为企业IT最重要的战略内容。”
大数据全面攻略：借技术与业务流程构建大数据洞察力
从企业角度来说，在市场不确定性如此巨大的情况下，如何向前发展？
Walt Maguire 认为：“首先，必须面对现实。 在项目开始时几乎不可能准确了解需要达到什么样的最终状态。 我通常会建议使用类似敏捷的方法带领您的大数据/分析/数据科学团队 — 无论您把它叫做什么 — 并制定其开发流程。 创建有具体目标的冲刺，在每次冲刺结束时，停下来审视您的结束位置。 然后规划下一次冲刺，以此类推。”
也就是说，企业必须选择实际能以这种方式发挥作用的技术。 我们可以购买某些没有仪器仪表的东西，如购买一架没有驾驶舱的飞机。 还有其他东西无法精确测量规模，而这二者之间还有大量的东西。 因此，企业谨慎选择与敏捷方法一致的成套工具和技能对于成功非常重要。 此外，人们已经开始明白，没有什么单一工具能够解决他们的所有问题。 他们已经开始理解他们真正需要的是一个组合。
而对于数据科学团队来说，我们看到分析团队或者个人嵌入业务部门中， 以及基础设施和数据科学人员， 并且其工作是随业务向前发展，推动这一能力符合业务需求。 它正在改变 IT 实施模式。二十年前，如果企业想获得来自 IT 部门的报告，周转时间要以周或月计。 这不是可行的模式。 分析是一个高度迭代的过程，企业提出一个数据问题，并通过答案认识到需要提出另一个问题，或者需要获得其他数据。换言之，需要完善企业的想法。 使这些周期快速运行是提高洞察力的关键。 通过将这些人员嵌入这些部门，获得答案的速度通常要快得多。
而这正是技术可以提供支持的领域。 有些东西，如 Vertica，能够解决查询时间长的问题。 现在，它的运行能够以秒来计，因而大幅提高了分析师的工作效率。 在这里，技术与业务流程二者相辅相成。
大数据的最大挑战是人才
有些企业从战略上规避大数据，因为大数据意味着要引入大量技术变革和技能变革。而对于追求大数据的组织而言，主要挑战是获得数据科学技能。 很明显，如今的数据科学家非常重要。 在内部培养此类人才可能非常有用，因为对于大多数组织而言，数据科学家的角色有些模糊。 因此，我们通常能在内部发现此类人员。
过去，可能需要 20 人来维护数据环境，同时要配备 3 名分析师。 而在新环境中，我们只需要 3 名环境维护人员和 20 名分析师。 很多精明的组织已经认识到了这一点，并且已为人们提供了构建这些技能以及转变为这些角色的途径。
大多数人认为重新培训老派人员就会有效。事实上，更大的问题在于人们更换工具后转而离开这一领域。 对于这些技能而言，有些市场竞争特别激烈。 因此使人们更换工具并不那么困难，因为人们对于新工具的使用非常兴奋。 问题是让他们进入各自的角色后，怎样留住他们？ 这个问题更难。
最好的措施归结起来就是积极参与，想方设法使其保持趣味性或有充实感。 对于在留住员工方面做得比较好的公司而言，一个关键元素是确保您能提供良好的体验。 其中一部分是文化，还有一部分是有意识的设计。
过去，在分析中产生瓶颈的是性能。 技术已经变得更快，因此现在人工决策过程正在成为一个潜在的瓶颈。 我们不能只是在一个结果中随机抛出 10,000 个变量，然后假定该结果是理想的。 必须应用某些判断。但是，如果您有一种工具，能在几秒钟内为您更新回归模型，那会怎么样呢？ 现在，市场上已经出现一些能够进行此类工作的产品和服务。 它们经过专门设计，能够处理数据科学流程，并加快其速度。 这种方法使我能在一小时内处理过去需要一个月才能完成的工作，并且可以评估可能的模型并作出决定。
至于大多数组织是以整体方式思考其大数据，还是仍旧关注单个问题？这个问题错综复杂。
有些组织将大数据视为科学项目来处理。 他们指出： “我们知道大数据很重要。 但我们尚不确定我们要使用它做什么，因此我们打算采取一些措施，然后继续发展下去，看看我 们是否能够发现它的用处。” 这些项目的进展通常都不顺利。有些组织则走向另一个极端，他们发挥现有业务职能，并在一定程度上对其进行改进。 结果非常便于量化。 我可以用美元为单位来衡量。 但对业务的总体价值并不那么高。 他们可能节约了一些资金，或在一定程度上加快了流程，这些并没有任何错。 只是这样无法发现大数据的真正价值。不过，中间的小组发现了一些高价值的使用案例，并构建了项目，以针对这些使用案例提供有意义的结果。 成功率很高。 就像开拓了一条全新的业务线一样，对于业务而言，通常很有帮助。
