大数据处理技术 - HDFS 的命令行使用

hdfs 常用的操作命令

查看根路径下面的文件或者文件夹

hdfs dfs -ls /

查看 test 路径下面的文件或者文件夹

hdfs dfs -ls /test

递归的查看根路径下面的文件或者文件夹

hdfs dfs -ls -R /

在 hdfs 上面递归的创建文件夹

hdfs dfs -mkdir -p /aaa/bbb

hdfs dfs -moveFromLocal sourceDir (本地磁盘的文件或者文件夹的路径) destDir（hdfs 的路径）

hdfs dfs -moveFromLocal /root/install.log /

hdfs dfs -mv hdfsSourceDir hdfsDestDir

hdfs dfs -mv /install.log /aaa

hdfs dfs -put localDir hdfsDir 将本地文件系统的文件或者文件夹放到 hdfs 上面去

hdfs dfs -put /root/install.log.syslog /aaa

hdfs dfs -cat hdfsDir 查看 hdfs 的文件内容

hdfs dfs -cat /aaa/install.log

hdfs dfs -cp hdfsSourceDIr hdfsDestDir 拷贝文件或者文件夹

hdfs dfs -cp /aaa/install.log /aaa/in2.log
hdfs dfs -ls /aaa

hdfs dfs -rmr （递归）删除文件或者文件夹

hdfs dfs -rmr /aaa/in2.log

hdfs 的权限管理命令：

hdfs dfs -chmod -R 777 /xxx

hdfs 的安全模式

安全模式是 HDFS 所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。

在 NameNode 主节点启动时，HDFS 首先进入安全模式，DataNode 在启动的时候会向 namenode 汇报可用的 block 等状态，当整个系统达到安全标准时，HDFS 自动离开安全模式。

如果 HDFS 出于安全模式下，则文件 block 不能进行任何的副本复制操作，因此达到最小的副本数量要求是基于 datanode 启动时的状态来判定的，启动时不会再做任何复制（从而达到最小副本数量要求），hdfs 集群刚启动的时候，默认 30S 钟的时间是出于安全期的，只有过了 30S 之后，集群脱离了安全期，然后才可以对集群进行操作.

hdfs dfsadmin -safemode