你好,游客 登录 注册 搜索
背景:
阅读新闻

Laxcus大数据分布计算演示实例

[日期:2015-05-06] 来源:CSDN博客  作者: laxcus [字体: ]

  Laxcus大数据管理系统提供了基于Diffuse/Converge分布算法的计算能力。算法的具体介绍详见《Laxcus:大数据处理系统》一文。本图展示了在集群环境下的随机数产生、排序、显示、存储的过程。

  图中终端窗口的文字解释:

  <1>“conduct”,Laxcus系统关键字,是diffuse/converge分布算法的语句化描述。

  <2>“system_sort”,分布计算的中间件命名,名称不区分大小写,但要求集群中唯一。

  <3>“from、to、collect”,conduct命令下的关键字,diffuse/converge分布计算的阶段。

  <4>“sites”,conduct关键字,要求的节点数目(节点是一台逻辑计算机)。

  <5>“writeto”,conduct关键字,指示数据写入文件名。

  <6> “begin、end、total、orderby”,用户的自定义关键字,格式是“名称(数据类型)=参数”。这些关键字由用户定义,用户在自己的中间件中解析和处理。图中的“orderby”是字符串类型,参数与单引号包括(兼容SQL格式),其它是整数类型。

  完整说明:

  这是由多台计算机产生各自的随机生成数字,然后组合协调,进行排序的演示示列。以“system_sort”命名的中间件计算机组件,按照diffuse/converge分布计算机的算法原理,通过终端作用到集群的中间件上执行的过程。

  在from阶段,系统启动6台计算机,每台计算机平均分配100(total)个数中的六分之一,产生从-100000到9999999之间的随机数。 to阶段有3台计算机,承接from阶段产生的数字,每台计算机平均分配100(total)个数中的三分之一,并对分配到的数字进行排序,排序采用降序方式。数据结果在终端上显示,同时写入一个名为"/notes/records.bin"磁盘文件(这是在Linux系统上的运行实现,如果终端运行在 Windows系统,需要改为对应的目录结构)。

  另:在实际运行过程中,Laxcus大数据系统将检查参数中要求的中间件节点数目,如果不能达到要求,将自动降为实际可用数目。

 

大数据




收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (4)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款