你好,游客 登录
背景:
阅读新闻

大数据量业务订制和解决方案思考

[日期:2014-12-24] 来源:博客园  作者:红尘客栈 [字体: ]

大数据

  大数据量的系统要经过对数据的用处分析和数据周期分析,以寻求更好的解决方案。

  1:业务系统的基础数据,如人员基础信息(基础资料,权限等)

  数据可以KEEP在内存中.数据要分散存储.基础数据逻辑要简洁.使用增量更新.高峰期来临前提前更新基础数据

  2:热数据处理

  此部分数据是各方面环境会频繁使用到的数据对这部分数据的存储,比如使用不一样的存储方式,比如建立高效的索引,使用SSD盘,或者使用mysql数据库存储

  3:历史数据的迁移

  近期数据此类数据是需要最近频繁使用或者调用的数据,对OLTP系统而言此类数据是核心数据。

  历史数据此类数据主要做历史数据查询或者历史分析数据,建议迁移出OLTP系统数据库

  4:报表数据的存储

  对报表数据进行数据转换,从原始数据,转化到订制数据,再清理 成报表数据

  5:数据库业务拆分 多表数据存储

  将核心业务表进行拆分,既能提高数据库的性能,还能提高数据的安全

  6:索引数据的存储

  无效索引的删除与索引的定期重建和SSD盘的引入等处理

  数据流转

  数据中心

  订制小数据中心 围绕中心数据库

  数据分发机制

  按区域城市等进行数据分发

  中心数据入库后的流转

  MYSQL:查询类系统:如网站的查询

  多套ORACLE:多用途系统:如备份、物流监控,报表等

  ORACLE:核心业务系统:信息流、物流、资金流全流程控制系统

  大数据分析系统:对历史数据或者大数据进行分析。





收藏 推荐 打印 | 录入: | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款