你好,游客 登录
背景:
阅读新闻

Hadoop = Hard to doop:数据缩水!揭常见Hadoop烂尾因素

[日期:2014-12-04] 来源:HKITBLOG  作者: [字体: ]

    大多数企业 大数据应用案例还处于实验和测试阶段,对于少数首次在生产环境部署 hadoop 系统的用户来说,最常遇到的就是扩展问题,此类问题往往导致中途烂尾,令 大数据项目无法持之以恒。部署和扩展 Hadoop 系统是一件高度复杂的事情,如果用户能提前考虑到 Hadoop 扩展时会遇到的问题和对危险信号有所了解,就能避免很多烂尾情况了。

    以下是 Altiscale 的 Raymie Stata 早前曾总结出来的 Hadoop 大数据七大危险信号,大家「中」了几多?

危险信号一:永远未进入生产阶段

    大数据应用从概念到生产环境是一个巨大的变化,Hadoop 系统的可扩展性将面临巨大的挑战。生产环境的数据规模所产生的问题在实验环境是很难遇到的。另外数据本身也存在差异,概念验证阶段使用的测试数据往往是不真实的,或者是类型单一。在进入生产环境前,大数据团队需要对 Hadoop 系统进行模拟真实数据规模的压力测试,此类测试能够检验 大数据应用的可扩展性和相容性能,还能帮你做出更加准确的性能(资源需求)规划模型。

危险信号二:分析任务不断超时

    当 Hadoop 中运行的 大数据应用很少或者只有一笔时,一切都会按部就班,但是随着 Hadoop Computer cluster 增长,数据分析任务的运行时间变得难以预测。一开始,只是有零星的超时现像,问题容易被忽视,但随着时间久了,超时问题会越来越严重,最后导致危机发生。在危机爆发前,你必须提前采取行动,根据任务的程度来调整计算性能的规划模型。

危险信号三:你开始告诉人们不要保留所有数据

    危机出现的另一个征兆是数据保留时间不断缩水。一开始你想保留 13 个月的数据进行年度分析。但是由于空间限制,你开始减少保留数据的月份数。到最后,你的 Hadoop 系统因为没有足够多的数据而从 BID DATA 变成 SMALL DATA 系统。数据保留导致空间缩水是因为存储的扩展性遇到问题,这与前面的运算性能问题类似。当你的容量 Prediction Model 出现问题时,需要尽快调整。

危险信号四: Data scientist 被「饿死」

    任务负荷过重的 Hadoop Computer cluster 会扼杀创新,因为 Data scientist 将没有足够的运算资源来开展大型任务,也没有足够的空间来存储中间结果。性能和容量规划通常会忽略或者低估 Data scientist 的需求,之前提到对生产环境任务的估计不足,会严重限制 Data scientist 的创新性工作。

危险信号五:Data scientist 开始查看 Stack Overflow

    在 Hadoop 系统部署的早期,运行和营业团队与科学家紧密协作。运行和营业团队随时为 Data scientist 提供支持,但是当 Hadoop 系统成功上线后,系统的运行维护和扩展任务就会让运行和营业的团队疲于奔命,这时候 Data scientist 遇到 Hadoop 问题就只好自己解决,例如去 Stack Overflow 查看问题帖子。

危险信号六:Data Center 越来越热

    Data Center 伺服器的电力都不是按伺服器的功率配置的,但是一个 Hadoop Computer cluster 运行任务的时候经常会连续开启数小时,会烧坏不匹配的供电线路,同样的问题也存在于制冷系统中。部署 Hadoop 系统时请确保 Data Center 能顶得住长时间全速运行的 Hadoop….。

危险信号七:费用超支

    基于 IaaS 的 Hadoop 部署,例如 AWS,在支出上是无法控制的。一个月的费用很有可能是上个月的叁倍,远远超出你的预算。性能规划对于基于 IaaS 的 Hadoop 部署来说也是非常重要的,但是好的性能规划只是开始,如果你需要扩展 IaaS 上的 Hadoop 系统,在成本监控和优化系统上投入大量资金是必然的,假如你自问资金不足,那就切勿随意尝试大数据 Hadoop。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款