你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop Shell 命令

[日期:2015-12-14] 来源:航行萬里 不留邊際  作者: [字体: ]

Hadoop Shell 命令, 通用在文件系统(FS)中使用的格式为

/bin/hadoop/ fs <args> 的形式, 以hadoop的文件路径 作为参数.

uri格式: scheme://authority//path;

对于HDFS, scheme是hdfs; 本地文件系统, scheme是file. scheme, authority 是可选参数. 配置中有默认补充.

常用指令

cat

hadoop fs -cat uri [uri2 uri3 ... ]

hadoop fs -cat /user/foo1 /user/foo2

cat指定文件(集)到stdout.

chgrp

hadoop fs -chgrp [-R] GROUP uri [uri..]

改变文件的所属组

chmode

hadoop fs -chmod [-R] &lt;MODE&gt; uri [uri..]

改变文件的权限

chown

hadoop fs --chown [-R] &lt;OWNER&gt; uri [uri..]

改变文件拥有者 -R为递归参数. <必须为root才可以>

copyFromLocal

hadoop fs -copyFromLocal <localsrc> uri 
和put类似, 但限定src須为本地文件.

copyToLocal

hadoop fs -copyToLocal [-ignorecrc] [-crc] uri &lt;localdst&gt;

和get 类似, 但限定目标路径为本地.

cp

hadoop fs -cp

dus

hadoop fs -dus &lt;args&gt;

显示文件的大小

expunge

hadoop fs -expunge 
清空回收站

下面为操作之后的返回示例

5/12/11 23:04:15 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 4320 minutes, Emptier interval = 0 minutes.
15/12/11 23:04:15 INFO fs.TrashPolicyDefault: Created trash checkpoint: /user/jinyong.yang/.Trash/151211230415

get

hadoop fs -get <src> <localdst> 

用于从HDFS上复制到本地文件系统.

失败返回 -1

getmerge

hadoop fs -getmerge &lt;src_folder&gt; &lt;localfile&gt;

可能类似于实现 hadoop fs -cat <src_folder>/* .

lsr

hadoop fs -lsr &lt;args&gt;

ls的递归版.

mkdir

hadoop fs -mkdir <paths> 
类似于Unix的 mkdir -p

失败返回 -1

movefromLocal

mv

hadoop fs -mv URI &lt;dst&gt;

put

hadoop fs -put &lt;localsrc&gt; &lt;dst&gt;

失败 返回 -1

stat

hadoop fs -stat URI

返回路径的统计信息. 失败返回-1

tail

hadoop fs -tail pahtname

输出尾部字节, 大小为1K. 支持 -f失败返回 -1

test

hadoop fs -test -[ezd] URI

-e 检查文件 存在返回0;

-z 检查文件是否0 是返回0;

-d 检查目录 若是目录返回0

部分别名

alias hls=’hdfs dfs -ls’
alias hlsr=’hdfs dfs -ls -Ralias hcp=’hdfs dfs -cp ‘
alias hmv=’hdfs dfs -mv’
alias hrm=’hdfs dfs -rm’
alias hmkdir=’hdfs dfs -mkdir’
alias hcat=’hdfs dfs -cat’
alias hrmr=’hdfs dfs -rm -r’
alias hstat=’hdfs dfs -stat’
alias htest=’hdfs dfs -test’
alias htext=’hdfs dfs -text’
alias htouchz=’hdfs dfs -touchz’

alias hchmod=’hdfs dfs -chmod’
alias hchgrp=’hdfs dfs -chgrp’
alias hchown=’hdfs dfs -chown’

alias htail=’hdfs dfs -tail’
alias hcount=’hdfs dfs -count’

alias hcpfl=’hdfs dfs -copyFromLocal’
alias hmvfl=’hdfs dfs -moveFromLocal’
alias hcptl=’hdfs dfs -copyToLocal’
alias hmvtl=’hdfs dfs -moveToLocal’
alias hgetm=’hdfs dfs -getmerge’
alias hsetrep=’hdfs dfs -setrep’
alias hhelp=’hdfs dfs -help’
alias hdu=’hdfs dfs -du’
alias hdus=’hdfs dfs -du -s’




收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款