hadoop原理浅析及安装

文件写入：

• Client向NameNode发起文件写入的请求。
• NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
• Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

文件读取：

• Client向NameNode发起文件读取的请求。
• NameNode返回文件存储的DataNode的信息。
• Client读取文件信息。

文件Block复制：

• NameNode发现部分文件的Block不符合最小复制数或者部分DataNode失效。
• 通知DataNode相互复制Block。
• DataNode开始直接相互复制。

HDFS的几个设计特点：

• Block的放置：默认不配置。一个Block会有三份备份，一份放在 NameNode指定的DataNode，另一份放在与指定 DataNode非同一Rack上的DataNode，最后一份放在与指定DataNode同一Rack上的DataNode上。备份无非就是为了数据安 全，考虑同一Rack的失败情况以及不同Rack之间数据拷贝性能问题就采用这种配置方式。
• 心跳检测DataNode的健康状况，如果发现问题就采取数据备份的方式来保证数据的安全性。
• 数据复制（场景为DataNode失败、需要平衡DataNode的存 储利用率和需要平衡DataNode数据交互压力等情况）：这里先说一下，使用HDFS的balancer命令，可以配置一个Threshold来平衡每 一个DataNode磁盘利用率。例如设置了Threshold为 10%，那么执行balancer命令的时候，首先统计所有DataNode的磁盘利用率的均值，然后判断如果某一个DataNode的磁盘利用率超过这 个均值Threshold以上，那么将会把这个DataNode的block转移到磁盘利用率低的DataNode，这对于新节点的加入来说十分有用。
• 数据交验：采用CRC32作数据交验。在文件Block写入的时候除了写入数据还会写入交验信息，在读取的时候需要交验后再读入。
• NameNode是单点：如果失败的话，任务处理信息将会纪录在本地文件系统和远端的文件系统中。
• 数据管道性的写入：当客户端要写入文件到DataNode上，首先客户 端读取一个Block然后写到第一个DataNode上，然后由第一个DataNode传递到备份的DataNode上，一直到所有需要写入这个 Block的NataNode都成功写入，客户端才会继续开始写下一个 Block。
• 安全模式：在分布式文件系统启动的时候，开始的时候会有安全模式，当分 布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个 DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改 和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。