2、基于hadoop的云计算与存储平台设计
目前，多核计算机的广泛使用使其在搭建Hadoop集群系统时，分给各DataNode节点的多个任务会产生对资源的竞争，例如：内存、CPU、输入 输出带宽等，这会导致暂时用不到的资源处于闲置状态，致使一些资源的浪费以及响应时间的延长，资源开销的增加最终会导致系统性能的降低。为解决此问题，本 研究提出一种基于VMware虚拟机和Hadoop相结合的集群环境模型，如图4所示，即在一台计算机中搭建多台虚拟操作系统，此种做法的优点是可以增加 DataNode和TaskTracker节点，而且可以充分利用物理资源，提高运算和存储的效率。
图 4 基于VMware虚拟机和Hadoop结合的模型
3、实验平台搭建
3. 1硬件环境配置
准备3台双核计算机，并分别安装2台VMware虚拟机软件，在虚拟机中装入Linux OS，从而将3台计算机扩展成为6台计算机，3台计算机具有相同的配置，配置具体如表1所示。
Hadoop集群包括1个NameNode服务器和5个DataNode月及务器，配置信息如表2所示。
3.2 Hadoop环境搭建
Hadoop环境搭建过程为：配置集群hosts列表、安装JAVA JDK系统软件、配置环境变量、生成登陆密钥、创建用户帐号和Hadoop部署目录及数据目录、配置hadoopenv.sh环境变量、配置core- site. xml、hdfs-site. xml、mapred-site. xml。
配置完毕之后进行格式化文件，命令为：
/opt/modules/hadoop/hadoop-1.0.3/bin/hadoop namenode deformat
然后启动所有节点，输入命令：startall.sh。通过界而查看集群是否部署成功，首先检查NameNode和DataNode节点是否正常，打 开浏览器输入网址：http： //master： 50070，若Live Nodes有6个，说明全部节点成功启动。然后检查JobTracker和TaskTracker节点，输入网址：http： //master：50030，若Nodes节点有6个说明节点启动成功。
