CentOS部署单机Presto

前置条件
安装到hadoop客户端

1、配置基础环境（presto需要java环境）

java软件包链接：https://pan.baidu.com/s/1Utcsz56jnWfGDLxTvdQPTw?pwd=j6rg
提取码：j6rg

[root@endemo-5 data1]# ll /opt/java
lrwxrwxrwx 1 root root 12 Apr 11 20:29 /opt/java -> jdk1.8.0_131
[root@endemo-5 data1]# cat /etc/profile.d/env_path.sh 
export JAVA_HOME=/opt/java
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
export LANG=en_US.UTF-8
[root@endemo-5 data1]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

2、上传并解压

presto官方下载地址
百度云盘我安装的presto软件包链接：https://pan.baidu.com/s/1DeUi1jL7QKB39yVT0ETa9Q?pwd=801r
提取码：801r

[root@endemo-5 data1]# ll /data1/presto-server-0.188.tar.gz 
-rw-r--r-- 1 root hadoop 509296962 Jul 18 11:47 /data1/presto-server-0.188.tar.gz

3、安装

1、创建配置目录

tar xf presto-server-0.188.tar.gz
cd presto-server-0.188
mkdir etc
[root@endemo-5 presto-server-0.188]# tree etc/
etc/
├── catalog
│   ├── hive.properties
│   └── jmx.properties
├── config.properties
├── jvm.config
├── log.properties
└── node.properties
# 配置目录中包含四个配置文件和一个目录分别为node.properties、jvm.properties、config.properties、log.properties、catalog，作用分别是：
# Node Properties:特定于每个节点的环境配置
# JVM Config: Java虚拟机的命令行选项
# Config Properties: Presto服务器的配置
# Log Properties: 允许设置命名记录器层次结构的最小日志级别
# Catalog Properties: 连接器（数据源）的配置

2、特定于每个节点的环境配置

node.environment=mediaforce #环境环境的名称。集群中的所有Presto节点必须具有相同的环境名称
node.id=endemo-5 #id此Presto安装的唯一标识符。
node.data-dir=/data1/presto/prestoData #数据目录的位置

[root@endemo-5 presto-server-0.188]# cat etc/node.properties 
node.environment=mediaforce  
node.id=endemo-5    
node.data-dir=/data1/presto/prestoData 
[root@endemo-5 presto-server-0.188]# mkdir -p /data1/presto/prestoData # 创建一个data目录

3、Java虚拟机的命令行选项

[root@endemo-5 presto-server-0.188]# cat etc/jvm.config 
-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

4、Presto服务器的配置

[root@endemo-5 presto-server-0.188]# cat etc/config.properties 
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=9098
query.max-memory=20GB
query.max-memory-per-node=1GB
discovery-server.enabled=true
discovery.uri=http://172.24.4.57:9098    #本机ip

5、允许设置命名记录器层次结构的最小日志级别

[root@endemo-5 presto-server-0.188]# cat etc/log.properties 
com.facebook.presto=INFO

6、连接器（数据源）的配置

[root@endemo-5 presto-server-0.188]# cat etc/catalog/hive.properties 
connector.name=hive-hadoop2
hive.metastore.uri=thrift://172.24.3.183:9083   #hive.metastore服务的ip加端口
hive.config.resources=/usr/hdp/2.6.2.14-5/hadoop/conf/core-site.xml,/usr/hdp/2.6.2.14-5/hadoop/conf/hdfs-site.xml
#hive.allow-drop-table=true
[root@endemo-5 presto-server-0.188]# cat etc/catalog/jmx.properties 
connector.name=jmx

4、守护进程启动

[root@bdos6-endemo-5 presto-server-0.188]# bin/launcher start
Started as 14723
[root@bdos6-endemo-5 presto-server-0.188]# bin/launcher status
Running as 14723

5、测试

[root@endemo-5 bin]# cd ../
[root@endemo-5 presto-server-0.188]# cd bin/
[root@endemo-5 bin]# ./presto --server 172.24.4.57:9098 --catalog hive --schema default
presto:default> show schemas from hive;
       Schema       
--------------------
 cdr_ads            
 cdr_dw             
 cdr_ods            
 cdr_src            
 default