Cloudera Manager安装CDH6教程-（一）虚拟环境安装配置

CDH6的搭建维护以及使用技巧

资料

链接: https://pan.baidu.com/s/1g-OOE5I3rEnRLZ3IxZ95fA
提取码: 5n6d
里面包括CM和CDH及其以下文档用到所有的安装包

一 环境准备

1.1 三台虚拟机准备

Master( 34g内存 + 100g硬盘 + 4cpu + 每个cpu2核)

2台Slave( 12g内存 + 100g硬盘 + 4cpu + 每个cpu1核)

1、准备的机器只要网络IP不冲突通并且可以正常访问网络即可，如机器资源不够，可自行分配所需要的资源，或者使用云服务

2、关闭防火墙，云服务还需要开启对应的IP端口

3、机器hostname修改，配置hosts，并配置SHH免密

4、时间同步

注意：如果拿不稳可以做快照的做快照，这样恢复起来容易。

1.2 常用yum源更新，gcc，G++，C++等环境（可以跳过）

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb postgresql* portmap mod_ssl openssl openssl-devel python-psycopg2 MySQL-python python-devel telnet pcre-devel gcc gcc-c++

1.3 配置本地yum云

注意此处只需要在主节点机器上执行

1.3.1 更新yum源httpd

#更新yum源httpd
yum -y install httpd
#查看httpd状态
systemctl status httpd.service
#启动httpd
service httpd start
#配置httpd永久生效（重启生效）
chkconfig httpd on

1.3.2 更新yum源yum-utils

#更新yum源yum-utils createrepo
yum -y install yum-utils createrepo
#进入yum源路径
cd /var/www/html/
#创建cm文件夹
mkdir cm

1.3.3 将下载好的资源添加进本地yum云

在“2.1CM下载”中，下载需要的文件，后面要放在本地yum云中，提供访问

在添加完需要资源后，使用工具和本地的yum源创建联系，其中repodata是yum联系创建的

createrepo /var/www/html/cm/
chmod 777 所有文件

1.3.4 创建本地repo文件

vim /etc/yum.repos.d/cloudera-manager.repo

---->添加如下内容(注意IP改成本地yum主机IP，只能是ip)
[cloudera-manager]
name=Cloudera Manager, Version yum
baseurl=http://192.168.37.10/cm
gpgcheck=0
enabled=1
----<

• 更新yum源

yum clean all
yum makecache

• 验证

yum list | grep cloudera-manager

1.3.5 将本地yum文件分发至从节点

scp -r /etc/yum.repos.d/cloudera-manager.repo root@cdh02.cm:/etc/yum.repos.d/
scp -r /etc/yum.repos.d/cloudera-manager.repo root@cdh03.cm:/etc/yum.repos.d/

1.4 安装JDK(所有节点)

#查看命令
rpm -qa | grep java
#删除命令(删除所有openjdk)
rpm -e --nodeps xxx

• 将oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm上传至每个节点安装

rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

• 修改配置文件

vim /etc/profile
--->添加
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
---<

• 刷新源

source /etc/profile

• 检验

java
javac

1.5 安装mysql

用于管理CM数据，故安装在主节点即可

1. 此处先把mysql-connector-java-5.1.47.jar传到每台服务器的/usr/share/java（如果目录不存在需要先创建）目录下，并更名为mysql-connector-java.jar（注意要授予777权限，不然会出现驱动加载问题），如果不更名后面会报错
2. 把mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz解压到/usr/local目录下并改名为mysql，然后执行如下命令

#创建归档，数据，临时文件夹
mkdir /usr/local/mysql/arch /usr/local/mysql/data /usr/local/mysql/tmp
#创建用户，赋予权限
useradd mysql
chown -R mysql.mysql /usr/local/mysql
#更新yum
yum -y install perl perl-devel

3. 修改vi /etc/my.cnf

删除原有配置，增加如下配置

[client]
port=3306
socket=/usr/local/mysql/data/mysql.sock
default-character-set=utf8mb4

[mysqld]
port=3306
socket=/usr/local/mysql/data/mysql.sock

skip-slave-start

skip-external-locking
key_buffer_size=256M
sort_buffer_size=2M
read_buffer_size=2M
read_rnd_buffer_size=4M
query_cache_size=32M
max_allowed_packet=16M
myisam_sort_buffer_size=128M
tmp_table_size=32M

table_open_cache=512
thread_cache_size=8
wait_timeout=86400
interactive_timeout=86400
max_connections=600

# Try number of CPU's*2 for thread_concurrency
#thread_concurrency=32 

#isolation level and default engine 
default-storage-engine=INNODB
transaction-isolation=READ-COMMITTED

server-id=1739
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
pid-file=/usr/local/mysql/data/hostname.pid

#open performance schema
log-warnings
sysdate-is-now

binlog_format=ROW
log_bin_trust_function_creators=1
log-error=/usr/local/mysql/data/hostname.err
log-bin=/usr/local/mysql/arch/mysql-bin
expire_logs_days=7

innodb_write_io_threads=16

relay-log=/usr/local/mysql/relay_log/relay-log
relay-log-index=/usr/local/mysql/relay_log/relay-log.index
relay_log_info_file=/usr/local/mysql/relay_log/relay-log.info

log_slave_updates=1
gtid_mode=OFF
enforce_gtid_consistency=OFF

# slave
slave-parallel-type=LOGICAL_CLOCK
slave-parallel-workers=4
master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log_recovery=ON

#other logs
#general_log=1
#general_log_file=/usr/local/mysql/data/general_log.err
#slow_query_log=1
#slow_query_log_file=/usr/local/mysql/data/slow_log.err

#for replication slave
sync_binlog=500


#for innodb options 
innodb_data_home_dir=/usr/local/mysql/data/
innodb_data_file_path=ibdata1:1G;ibdata2:1G:autoextend

innodb_log_group_home_dir=/usr/local/mysql/arch
innodb_log_files_in_group=4
innodb_log_file_size=1G
innodb_log_buffer_size=200M

#根据生产需要，调整pool size 
innodb_buffer_pool_size=2G
#innodb_additional_mem_pool_size=50M #deprecated in 5.6
tmpdir=/usr/local/mysql/tmp

innodb_lock_wait_timeout=1000
#innodb_thread_concurrency=0
innodb_flush_log_at_trx_commit=2

innodb_locks_unsafe_for_binlog=1

#innodb io features: add for mysql5.5.8
performance_schema
innodb_read_io_threads=4
innodb-write-io-threads=4
innodb-io-capacity=200
#purge threads change default(0) to 1 for purge
innodb_purge_threads=1
innodb_use_native_aio=on

#case-sensitive file names and separate tablespace
innodb_file_per_table=1
lower_case_table_names=1

[mysqldump]
quick
max_allowed_packet=128M

[mysql]
no-auto-rehash
default-character-set=utf8mb4

[mysqlhotcopy]
interactive-timeout

[myisamchk]
key_buffer_size=256M
sort_buffer_size=256M
read_buffer=2M
write_buffer=2M

4. 配置服务及开机自启动

cd /usr/local/mysql
#将服务文件拷贝到init.d下，并重命名为mysql
cp support-files/mysql.server /etc/rc.d/init.d/mysql 
#赋予可执行权限
chmod +x /etc/rc.d/init.d/mysql
#删除服务
chkconfig --del mysql
#添加服务
chkconfig --add mysql
chkconfig --level 345 mysql on
#添加快捷方式
ln -s /usr/local/mysql/bin/mysql /usr/bin/
#检查服务
 chkconfig --list | grep mysql

5. 安装mysql的初始db

#输入如下命令等待
/usr/local/mysql/bin/mysqld \
--defaults-file=/etc/my.cnf \
--user=mysql \
--basedir=/usr/local/mysql/ \
--datadir=/usr/local/mysql/data/ \
--initialize

在初始化时如果加上 –initial-insecure，则会创建空密码的 root@localhost 账号，否则会创建带密码的 root@localhost 账号，密码直接写在 log-error 日志文件中
（在5.6版本中是放在 ~/.mysql_secret 文件里，更加隐蔽，不熟悉的话可能会无所适从）

6. 启动

#下面命令执行完记得敲回车
/usr/local/mysql/bin/mysqld_safe --defaults-file=/etc/my.cnf &
#启动mysql(如果上面命令没有启动mysql)，停止为service mysql stop
#service mysql start
#查看mysql状态
service mysql status

7. 查看临时密码

cat /usr/local/mysql/data/hostname.err |grep password

8. 登录及修改用户密码

mysql -u root -p
#输入刚刚日志中的密码进入
#设置密码为：root
set password for 'root'@'localhost'=password('root');
#配置远程可以访问
grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
use mysql
delete from user where host!='%';
#刷新
flush privileges;
#退出
quit

9. 登录创建cm需要的库的用户

#进入mysql(输入修改后的密码)
mysql -u root -p
#scm库和权限暂时不创建，后面指定数据库，会自动创建
#CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
#####注意此处再授权一个本主机名地址，不然web页面配置很容易出错，注意修改本地主机名hostname
GRANT ALL ON amon.* TO 'amon'@'本主机名' IDENTIFIED BY 'amon';
#刷新源
FLUSH PRIVILEGES;
#检查权限是否正确
show grants for 'amon'@'%';  
show grants for 'rman'@'%';  
show grants for 'hive'@'%';
show grants for 'hue'@'%';
show grants for 'oozie'@'%';

#退出
quit

#重启服务
service mysql restart

二 CM+CDH安装

2.1 CM下载

下载地址：https://archive.cloudera.com/cm6/6.3.1/

红框中都需要下载

2.2 通过yum安装daemons,agent,server

主节点

yum list | grep cloudera-manager
yum -y  install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

从节点

yum list | grep cloudera-manager
yum -y  install cloudera-manager-daemons cloudera-manager-agent

注意从节点不能查到，可能由防火墙引起，确认关闭

2.3 上传cloudera-manager-installer.bin到主节点,赋予权限

mkdir /usr/software
cd /usr/software
chmod +x cloudera-manager-installer.bin 

2.4 CDH下载

下载地址:https://archive.cloudera.com/cdh6/6.3.2/parcels/

红框中都需要下载

2.5 配置本地Parcel存储库

• 将CDH下载的文件，上传到指定文件夹(主节点)

cd /opt/cloudera/parcel-repo/

• 授予777权限

chmod 777 所有文件

• 校验文件是否下载完全

sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

2.6 执行安装

cd /usr/software
./cloudera-manager-installer.bin 

rm -f /etc/cloudera-scm-server/db.properties
#再次执行脚本(一路yes)
./cloudera-manager-installer.bin 

此处便安装完成，可以登录主机IP+7180端口登录web页面，用户名密码admin/admin，但是此处暂时不要急于登录网页并配置参数，先改掉数据库连接方式重启cloudera-scm-server后再进行配置，操作如下：

• 1） 执行脚本scm_prepare_database.sh

#设置Cloudera Manager 数据库
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -uroot -p'root' scm scm scm

#进入mysql(这里是上面改的密码root)
mysql -uroot -proot
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
FLUSH PRIVILEGES;
show grants for 'scm'@'%';
quit

• 2） 停止ClouderaManager服务

service cloudera-scm-server stop
service cloudera-scm-server-db stop

• 3） 删除内嵌的默认数据库PostgreSQL的配置

rm -f /etc/cloudera-scm-server/db.mgmt.properties

• 4） 启动ClouderaManager服务

service cloudera-scm-server start

• 5. 如果有问题查看日志

vim /var/log/cloudera-scm-server/cloudera-scm-server.log

2.7 CM->CDH安装（账号：admin,密码：admin）

处理相关警告：所有机器都要修改

• 问题一

#临时
sysctl vm.swappiness=10
#永久
echo 'vm.swappiness=10'>> /etc/sysctl.conf

• 问题二

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#修改启动脚本
vim /etc/rc.local
--->添加
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
---<

重新运行检查

2.8 第一次组件安装

选择组件，为了简单安全有效，选择HDFS，YARN，ZOOKEEPER

这里可以将SecondaryNameNode和NameNode放在不同的机器，可以在NameNode异常时尽可能的确保数据正确性

下图为基本配置，不需要管，下一步

安装完成

2.9 问题处理

2.9.1 Clock Offset及 Network Interface Speed

2.9.2 HDFS Canary

直接抑制

2.9.3 Java Heap Size of NameNode in Bytes

堆大小，使用默认值4G即可

类似警告还有：

Java Heap Size of Host Monitor in Bytes

Maximum Non-Java Memory of Host Monitor

Java Heap Size of Service Monitor in Bytes

Maximum Non-Java Memory of Service Monitor

2.9.4 Memory Overcommit Validation Threshold

内存被调拨过度，所有服务安装完后，总的分配内存是 22.7G ，总内存是 23.4G

内存调拨为22.7/23.4=0.97>默认值0.8，改成1.0就OK了。

2.9.5 NameNode and SecondaryNameNode have different heapsizes

NameNode和SecondaryNameNode具有不同的堆大小

• 搜索 Java Heap Size

2.9.6 Erasure Coding Policy Verification Test

擦除编码策略验证测试：直接抑制

2.9.7 文件系统检查点

不良 : 文件系统检查点已有 20 小时，40 分钟。占配置检查点期限 1 小时的 2,068.25%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 255 个事务。这是 1,000,000 的已配置检查点事务目标的 0.03%。

解决方法：
1、namenode的Cluster ID 与 secondnamenode的Cluster ID 不一致，对比/dfs/nn/current/VERSION 和/dfs/snn/current/VERSION中的Cluster ID 来确认，如果不一致改成一致后重启节点应该可以解决。

2、修改之后还出现这个状况，查看secondnamenode 日志，报
ERROR： Exception in doCheckpoint java.io.IOException: Inconsistent checkpoint field
这个错误，直接删除 /dfs/snn/current/下所有文件，重启snn节点

2.10 正常状态

可以使用添加服务来添加需要的组件

三 安装Kafka

基础配置走起

四 安装Flume

五 安装Hbase

基础配置走起

六 安装Spark

默认配置走起

七 安装hive

基础配置走起

• 解决中文乱码

#进入mysql(输入修改后的密码)
mysql -u root -p
#进入hive元数据库    
use metastore
#hive中文乱码解决
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table  INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;
#刷新
flush privileges;
#退出
quit

八 安装Oozie

默认配置走起

九 安装Sqoop

十 安装Impala

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Rn0Lf1fv-1650291104509)(C:\Users\SMZC\AppData\Roaming\Typora\typora-user-images\image-20200609140520353.png)]

十一 安装hue

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zaFLRzYR-1650291104511)(C:\Users\SMZC\AppData\Roaming\Typora\typora-user-images\image-20200609144842231.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2lzStDrG-1650291104511)(C:\Users\SMZC\AppData\Roaming\Typora\typora-user-images\image-20200609145103296.png)]

• hue常用连接器配置

https://docs.gethue.com/administrator/configuration/connectors/

Hue通过本机或SqlAlchemy连接器连接到任何数据库或仓库。完成HUE-8758之后，可以通过UI配置连接，直到此之前需要将它们添加到Hue hue_safety_valve.ini文件中。

十二 cdh 6.3.2引用maven

官方文档：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_63_maven_artifacts.html#concept_t43_r3z_rjb

• pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <repositories>
    <repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
  </repositories>
</project>