你好,游客 登录
背景:
阅读新闻

对大数据知识架构的梳理

[日期:2016-07-05] 来源:数据挖掘与可视化  作者:bingyang87628 的BLOG [字体: ]

  近期交接了前期的大数据项目,对之前的项目内容做一个总结。也算是梳理一下项目的架构,对前期也算是一个总结,为后期的学习打下一个基础。

大数据

  清理数据

  对传统行业来说,上来就说要搞大数据,一般都会是一种噱头,因为之前的数据量不会很大,所以基本上都是一些统计分析内容为主。在这一阶段,你对数据理解就尤为重要!这里边牵扯到的知识有数据清理,相关的ETL技术。也就是说你要做数据分析,数据在哪里很是重要,当你不清楚你的数据的位置的时候,你的分析也就无所谈起。而原始数据里边一定会有许多的问题。而此时,你的清理过程就是要深入了解原始数据。为什么说一个好的数据分析人员一定是一个好的业务人员,这点也尤为重要。因为只有你对数据更为了解的时候,你才能更好的补全,替代。说和通俗一点,就是你要将原始的数据转换成PC能读懂的数据。

  这里也有一个4:3:3的原则,你原始的数据要从测试,训练,验证这三个维度来训练你的数据,这样构成一个循环,好让你的数据最终的成功度提高。而当你的数据入库的时候,就采用结构化还是非结构化的时候,这点也非常重要。也是决定着你后期读取的快慢!

  分析数据

  这一步是要结合着业务来做的,你对业务理解多少。结合着业务需求来分析数据,而不是单纯理解数据,不同行业不同工种对同一数据的理解是不同的。相比之下,业务人员要对数据的理解更加深入几分。你如何分析你的数据,如何理解里边的特殊值。如何去找到你所要求的目标数据,这一点尤其重要。

  分析数据,这一点也关系到你的项目的成败。这一点个人感觉也是产品经理需要重要把握的地方。首先,做为产品经理,你不可能对所有行业都了解的很清楚,在这种情况下,就势必要求你能够最大限度的来理解数据的价值。在这一步,你要与业务人员深入交流,确保对数据的详细了解,然后才能够在接下的环节中脱颖而出。

  算法选取

  有人说这一点都涉及研发了,作为产品经理是不需求去重点关注的。但从个人角度来说,这一点也同样重要。因为你初期的算法选取不当会造成后期的结果错误。也就相当于说,基本的东西,你一上来就要选好。

  而在算法选取方面,个人感觉也是要结合业务来实施。首先,要弄清楚业务那边主要关注的是什么指标。而与这一个指标相关的参数有那些,这些参数都是如何来影响这些指标的。至于算法的准确度,这一点,可以通过对数据颗粒度的细化来不断提高。不同的代码对系统的资源调度是不同的,而若你对算法的了解程度最大限度决定了你最终产品的反应快慢!

  需求分析

  有人说,这一块是最为重要的。为什么你不是放在第一部分来讲,而是放在最后一部分了。因为深刻的感受到,在传统行业,用户的需求不明确,或者说不是那么明确。又或者是用户的需求是可以被引导的。一直以来,个人都将用户的需求分为四种:强需,弱需,真需,假需。

  有的时候,要分辩这些需求。是要求产品经理具有相关行业的背景的。因为不同行业,不同公司对人的需求是不同的。如何去挖掘用户的需求,并将这些需求转换成为可以落地实现的产品。这点对产品经理的要求是很高的。

  部门沟通

  大数据产品,我将它分为三个线,一个是产品,一个是业务,一个是研发。这样就涉及到了部门之间的沟通。业务有许多的用户需求要经过产品的人来向研发反馈,而研发也需要产品的人把自己的工作落实到实际的项目中来。

  大数据,对上来说。领导层也许不懂大数据能够做什么。这就需要产品人员来给领导层以通俗的语言来讲明白。而对合作厂家来说,要有正确的引导,才能够让对方看到合作的可能。从而为项目的发展提供动力。

  大数据项目,以一个产品经理的角度来参于到这个项目中,才发现,自己曾经学到的内容到实际的应用中是那么的微乎其微。传统行业对大数据的渴求不再单单的基于概念而是真正的落地,真正的辅助业务创造价值。而这一方面,对一个产品经理的要求只会越来越高。

 

  很高兴前段时间论文的开题也顺利通过了,大数据的路还有很远,且行且珍惜吧!





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款