你好,游客 登录 注册 搜索
背景:
阅读新闻

关于Map和Reduce最大的并发数设置

[日期:2013-03-29] 来源:  作者: [字体: ]

一、环境

1、hadoop 0.20.2

2、操作系统 Linux

二、设置

1、因为hadoop的集群所有的机器不可能完全的配置一样,所以,不同节点机器上并发的最大map和reduce数量最好也不要相同。

2、在对应的节点机器上修改mapreduce-sit.xml文件,添加参数如下:

<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>2</value>
  <description>The maximum number of map tasks that will be run
  simultaneously by a task tracker.
  </description>
</property>

<property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>2</value>
  <description>The maximum number of reduce tasks that will be run
  simultaneously by a task tracker.
  </description>
</property>

各个节点机器上在这个字段值上可以不相同。

3、查看http://192.168.3.131:50030/machines.jsp?type=active来检查数量。

J]_$N5KWFMKS[M$A{F6[0UM

三、总结

1、配置完之后,不需要重启集群所有的机器,只需要重启你改动过的节点机器就可以。

2、如果通过网页看不到变化,那么执行任意一个job,数值就会凸显出变化。

3、结合公平调度器来使用,可以最大程度上提升性能。

 

转自:http://blog.csdn.net/dajuezhao/article/details/5809788





收藏 推荐 打印 | 录入:admin | 阅读:
相关新闻