Hadoop Shell命令调用文件系统(FS)Shell命令应使用 bin/hadoop fs &

文件名称: Hadoop Shell命令

所属分类: Hadoop

开发工具:

文件大小: 275kb

下载次数: 0

上传时间: 2019-07-02

提供者: aba****

下载 (275kb)

不能下载？报告错误

详细说明：调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成 hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件复制文件到本地文件系统。可用-igmoκecr选项复制cRC校验失败的文件。使用-∝rc选项复制文件以及 CRC信息。示例: hadoop Es -get /user/hadoop/file localfile hadoop fs -get hdfs: //host: port/user/hadoop/file localfile 返回值成功返回o,失败返回-1 demerge 使用方法: hadoop fs- getmerge<1 scalds>[addn1] 接受一个源目录和一个目标文件作为输入,并且将源目录中所有的文件连接成本地目标文件。addn1是可选的,用于指定在每个文件结尾添加一个换行符。 Is 使用方法: hadoop fs-1s 如果是文件,则按照如下格式返回文件信息文件名<副本数>文件大小修改日期修改时间权限用户ID组ID 如果是目录,则返回它直接子文件的一个列表,就像在Unx中一样。目录返回列表的信息如下目录名修改日期修改时间权限用户TD组T 小例 hadoop fs -ls /user/hadoop/filel /user/hadoop/ file2 hdfs: //host: port/user/hadoop/dir1 /nonexistentfile 返回值成功返回0,失败返回 Isr 使用方法: hadoop fs-1sr 将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是—个目录。不允许在不同的文件系统间移动文件。示例 hadoop fs -mv /user/hadoop/filel /ucer/hadoop/filc2 hadoop fs -mv hdfs: //host: port/filel hdfs: //hcst: port/file? hdfs: //host: port/file3 hdfs: //host: port/dir1 返回值成功返回0,失败返回-1 put 使用方法: hadoop is-pu<1 ocalsrc>... 从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统 hadoop Es -put localfile /user/hadoop/hadoopfile hadoop Es -put localfilel localfile2 /user/hadoop/hadoopdir hadoop fs -put localfile hdfs://hcs=: port/hadoop/hadoopfile hadoop fs -put -hdfs://host: port/ hadoop/hadccpfilc 从标准输入中读取输入返回值: 成功返回0,失败返回--。 rm 使用方法: hadoop fs- rm URI!URI…] 删除指定的文件。只删除非空目录和文件。请参考rm命令了解归删除。示例: hadoop fs -rm hdfs: //host: port/file /user/hadoop/emptydir 返回值成功返回0,失败返回-1 r 使用方法: hadoop fs- rmr URl[URI delete的递归版本示例 hadoop Es -rmr /uscr/hadoop/dir hadoop fs -rmr hdfs: //host: port/user/hadoop/dir 返回值成功返回0,失败返回--。 strep 使用方法: hadoop =s- strep!-R] 改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。示例: hadoop Es -strep -w 3 -R /user/hadoop/dirl 返回值成功返回0,失败返回-。 stat 使用方法: hadoop Is- stat uR-[URI… 返回指定路径的统计信息。示例 hadoop Is -stat path 返回值成功返回0,失败返回-。 tail 使用方法: hadoop fs [t URT 将文件尾部1K字节的內容输出到 stdout支持-「选项,行为和UJnx中-致。示例 hadoop fs -tail pathname 返回值成功返回0,失败返回-。 test 使用方法: hadoop fs-est-[ez]URT 选项: 检查文件是否存在。如果存在则返回0。 z检查文件是否是0字节。如果是则返回0 d如果路径是个目录,则返回1,否则返回0。示例 hadoop is -test -e filename text 使用方法: hadoop fs-ext 将源文件输出为文本格式。允许的格式是zip和 TextRecordIη putstream。 touch 使用方法: hadoop fs- ouch URI[URI…] 创建一个0字节的空文件。示例 hadoop -tcuchz pathname 返回值成功返回0,失败返回

(系统自动生成,下载前可以参看下载内容)