你好,游客 登录 注册 搜索
背景:
阅读新闻

大数据媒体案例02:“驾校投诉”文本数据挖掘

[日期:2015-08-25] 来源:数据小兵  作者: [字体: ]

  有关数据分析在媒体行业中的应用,我前面已经给大家介绍了《陕西妈妈大数据》案例,是基于调查问卷数据分析得出相应总结性报告的常规模式。大数据概念以及技术实施的普及,获取及处理数据的技术越来越丰富,而且往往都是突破传统方法,越来越多,越来越科学的媒体行业大数据案例正在涌现。

  华商报综合2015年前7个半月新闻热线收到的大量驾校投诉,经过对这些非常规数据进行数据清洗及深度的挖掘,从看似混乱的新闻素材中提炼出有价值的信息,用华商巷议报告的形式向社会发布,这样的数据项目值得媒体机构和媒体人关注和借鉴。

  数据来源

  2015年1月1日-8月17日,以及2013年、2014年,陕西省范围内,华商报24小时新闻热线029-88880000收集到的有关驾校投诉信息。

  数据处理方法

  以下文字为数据小兵博客补充,原巷议报告未提及。

  通过新闻热线打入的素材,一般为语音音频,首先需要将音频转化为文本信息,再对文本信息进行归类,提取关键词,按投诉对象分组,按投诉内容分组,组内汇总等。这些是比较传统的办法,对于案例中提到的457条信息来说,处理起来并不费力。

  如果数据量庞大,成千上万,百万条、甚至更多,此时手工处理显然不够科学和快捷。此时需要用到分词技术,词频统计,关联等方法。

  数据分析报告体现的分析方法

  1、对比分析

  2015年驾校投诉量暴增,投诉的有效数据,2013年268条,2014年474条,2015年截至8月17日457条。2015年激增的原因,报告认为与2014年10月驾考系统升级、考试难度增加、考试预约困难等原因导致通过率低,由此引发的问题延伸至2015年有关。

  2、分组归类、排序、二八定律

  将457条信息按照投诉对象分组归类,并组内排序,最后采用二八定律截取前十个被投诉驾校的占比。报告称2015年的457条有效数据中,有具体驾校名称投诉共计237条,涉及72所驾校。其中投诉量排名前十的驾校共计175条,涉及驾校投诉量的七成。

  3、关键词提取分词技术

  457条有效投诉消息,从文本内容中提取主事件关键词,例如“不安排考试”、“乱收费”等,并进行词频统计,最后输出投诉内容不同主关键词占比比例,抓住核心,突出重点。

  报告称投诉内容“不安排考试”占近四成,涉及投诉内容最多的是“不安排考试“

  这项工作数量不大时,一般人工分类处理。

  4、成分分解

  “不安排考试”占近四成,如果对这部分投诉信息进行深入剖析分解呢,是不是会得到更有意思的描述,这部分信息有没有某些共性。报告中这样写:181条“不安排考试”的投诉数据中,提及时长的共计162条,其中“半年至一年”的投诉最多,大多均未安排过任何一门考试,“一年至二年”的投诉则主要集中在不安排部分科目考试上。

  还有,乱收费”焦点在“考试费”,457条有效数据中,涉及“乱收费”的投诉共计92条,其中“考试费”是“乱收费”投诉的焦点,主要涉及考试前收取三百至一千元不等的考试费、未通过的科目还要收取二百至七百元不等的补考费。而收取的“保过费”,最低600元,最高达1000元。“手续费”则是退费时扣除的费用,一般在一千多至数千元不等

  逐层分解,问题不断被剖析,理顺关系,看清特征。

  这个案例十分典型,也能从侧面说明该媒体日常运营中对数据的收集和监测能力,与其说是能力,不如说是意识,这难能可贵,同城媒体比较而言,试问在数据新闻领域都有过哪些尝试呢?

 

  最后不得不说,这篇文章可能仅适合我的博客读者朋友们,因为通过学习和借鉴这个案例中所体现的数据处理及分析的方法,能增加数据分析爱好者、从业者、数据分析师们的数据思维,仅此。





收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (5)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款