虚拟机集群启动Hadoop常用命令

虚拟机集群启动，Hadoop常用命令

（一）、启动hdfs 1，namenode节点第一次初始化 在namenode安装节点执行命令： hadoop namenode -format

2，单节点启动、停止 在namenode节点执行命令：一般位hadoop101节点 hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode

 在secondarynamenode节点执行命令：一般位hadoop103节点
 hadoop-daemon.sh start secondarynamenode
 hadoop-daemon.sh stop secondarynamenode
 
 在datanode节点执行命令：所有节点hadop101、hadoop102、hadoop103
 hadoop-daemon.sh start datanode
 hadoop-daemon.sh stop datanode

3，集群启动、停止 在namenode节点执行命令 start-dfs.sh stop-dfs.sh

4，网页查阅hdfs系统运行情况 网址：http://hadoop101:50070/dfshealth.html#tab-overview

5，查看节点存活率 hadoop dfsadmin -report

（二）启动yarn 1，单节点启动、停止 在resourcemanager节点执行命令：一般位hadoop103节点 yarn-daemon.sh start resourcemanager yarn-daemon.sh stop resourcemanager

 在nodemanager节点执行命令：所有节点hadop101、hadoop102、hadoop103
 yarn-daemon.sh start nodemanager
 yarn-daemon.sh stop nodemanager

2，集群启动、停止 在resourcemanager节点执行命令 start-yarn.sh stop-yarn.sh

3，网页查阅yarn调度系统资源情况 网址：http://hadoop103:8088/cluster/apps

（三）启动历史服务器 1，在配置历史服务器的节点上：hadoop101 mr-jobhistory-daemon.sh start historyserver mr-jobhistory-daemon.sh stop historyserver

2，网页查阅历史服务器job调度日志 网址：http://hadoop101:19888/jobhistory/app

（四）防火墙 1，查看防火墙状态 systemctl status firewalld.service

2，关闭防火墙 systemctl stop firewalld.service

3，让防火墙永久失效 systemctl disable firewalld.service

（五）HDFS文件限额配置 1，限制文件夹可以上传多少个文件 创建文件夹 hdfs dfs -mkdir -p /root/ouyangtao 设置文件夹文件数量，实际位n-1个文件，如设置为2，则只能上传一个文件 hdfs dfsadmin -setQuota 2 /root/ouyangtao 上传测试 hdfs dfs -put hdfs.txt /root/ouyangtao 解除限制 hdfs dfsadmin -clrQuota /root/ouyangtao 查看文件限制数量 hdfs dfs -count -q -h /root/ouyangta

2，限制可以上传多大空间的文件 设置文件夹可以上传多大容量的文件 hdfs dfsadmin -setSpaceQuota 4k /root/ouyangtao 解除 hdfs dfsadmin -clrSpaceQuota /root/ouyangtao

（六）安全模式 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。 HDFS集群刚启动的时候，默认30S钟的时间是出于安全期的，只有过了30S之后，集群脱离了安全期，然后才可以对集群进行操作 查看安全模式状态 hdfs dfsadmin -safemode 进入安全模式 hdfs dfsadmin -safemode enter 退出安全模式 hdfs dfsadmin -safemode leave

（七）Hadoop归档技术，减少小文件对namenode的消耗 Hadoop存档文件HAR文件，是一个更高效的文件存档工具，HAR文件是由一组文件通过archive工具创建而来，在减少了NameNode的内存使用的同时，可以对文件进行透明的访问，即HAR文件对NameNode来说是一个文件，减少了内存的浪费，对于实际操作处理文件依然是一 个一个独立的文件。 1，先启动yarn集群 start-yarn.sh 2，归档处理 例子：把/root/ouyangtao目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/root/out路径下。 hadoop archive -archiveName input.har -p /root/ouyangtao /root/output –在这里必须用hadoop 而不能用hdfs 3，查看归档 hdfs dfs -ls /root/output/input.har –归档文件 hdfs dfs -ls -R har:///root/output/input.har –解析出被归档的文件名 4，解归档文件，将被归档文件复制到 /root 文件夹下 hdfs dfs -cp har:///root/output/input.har/* /root

（八）HDFS常用命令 1，查看所有的hdfs命令 hadoop dfs 或者 hdfs dfs ，一般用hadoop fs，而不是hadoop dfs 使用具体命令语法 hadoop dfs 具体命令 或者 hdfs dfs 具体命令

2，查看某条命令的参数 hadoop fs -help rm 或者 hdfs dfs -help rm

3，显示根目录信息 hdfs dfs -ls /

4，-mkdir：在hdfs上创建目录，多级目录前面加 -p参数 hdfs dfs -mkdir -p /ouyangtao/bigdata

5，-moveFromLocal：从本地剪切粘贴到HDFS 先在本地创建文件hadoop.txt文件，然后剪切粘贴到hdfs上 touch hadoop.txt hdfs dfs -moveFromLocal ./hadoop.txt /ouyangtao/bigdata

6， -appendToFile：追加一个文件到已经存在的文件末尾 先在本地创建文件hdfs.txt文件，然后剪切粘贴到hdfs上的hadoop.txt中 touch hdfs.txt 写入内容 vim hdfs.txt 追加到hdfs上的hadoop.txt中 hdfs dfs -appendToFile ./hdfs.txt /ouyangtao/bigdata/hadoop.txt

7，-cat：显示文件内容，显示上一个命令中追加的内容 hdfs dfs -cat /ouyangtao/bigdata/hadoop.txt

8， -chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限 hdfs dfs -chmod 777 /ouyangtao/bigdata/hadoop.txt hdfs dfs -chown root:root /ouyangtao/bigdata/hadoop.txt

9， -copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去 hdfs dfs -copyFromLocal hdfs.txt /ouyangtao/bigdata

10， -copyToLocal：从HDFS拷贝到本地 hdfs dfs -copyToLocal /ouyangtao/bigdata/hadoop.txt ./

11， -cp ：从HDFS的一个路径拷贝到HDFS的另一个路径 hdfs dfs -cp /ouyangtao/bigdata/hadoop.txt /ouyangtao/hdfs.txt

12， -mv：在HDFS目录中移动文件，遇到根目录 hdfs dfs -mv /ouyangtao/hdfs.txt /

13， -get：等同于copyToLocal，就是从HDFS下载文件到本地 hdfs dfs -get /ouyangtao/bigdata/hadoop.txt ./

14，-put：等同于copyFromLocal hdfs dfs -put hadoop.txt /ouyangtao

15， -tail：显示一个文件的末尾 hdfs dfs -tail /ouyangtao/hadoop.txt

16， -rm：删除文件或文件夹 hdfs dfs -rm /ouyangtao/hadoop.txt

17， -rmdir：删除空目录 hdfs dfs -mkdir /test hdfs dfs -rmdir /test

18，-du统计文件夹的大小信息 hdfs dfs -du -s -h /ouyangtao

19 ，-setrep：设置HDFS中文件的副本数量 hdfs dfs -setrep 10 /ouyangtao/bigdata/hadoop.txt