GreenPlum集群搭建安装超详细步骤
目录
一，安装说明
1.1环境说明
1.2集群介绍
二，安装环境准备
2.1 修改各节点名称
2.1.1 修改主节点hosts
2.1.2 复制到子节点
2.1.3 依次修改各个节点/etc/sysconfig/network文件
2.2 修改系统内核/etc/sysctl.conf文件
2.3 修改进程数/etc/security/limits.d/90-nproc.conf文件
2.4 修改/etc/selinux/config文件
2.5 复制主节点配置到子节点
2.6 创建gpadmin用户（所有节点）
三、安装Greenplum DB
3.1 在Master节点上安装Greenplum DB
3.2 创建配置集群hostlist文件,打通节点
3.2.1 创建一个hostlist,包含所有节点主机名：
3.2.2 创建一个 seg_hosts ，包含所有的Segment Host的主机名：
3.2.3 配置ssh免密连接：
3.3在Segment节点上安装Greenplum DB
四、初始化数据库
4.1 创建资源目录
4.2环境变量配置
4.2.1 在主节点进行环境变量配置
4.2.2 然后依次复制到各个子节点:
4.2.3 让环境变量生效:
4.3 NTP 配置
4.4 初始化前检查连通性
4.5 执行初始化
五、数据库操作
5.1 停止和启动集群
5.2 登录数据库
5.3 集群状态
六，greenplum的hadoop环境配置
一，安装说明
1.1环境说明
名称 | 版本 |
操作系统 | CentOS 6.x 64bit |
greenplum | Greenplum-db-5.0.0-rhel6-x86_64.rpm |
1.2集群介绍
使用1个master，n个segment的集群.示例：
196.168.0.1
196.168.0.2
196.168.0.3
196.168.0.4
其中196.168.0.1为master，其余为segment。
二，安装环境准备
2.1 修改各节点名称
2.1.1 修改主节点hosts
说明：这里主要是为之后Greenplum能够在各个节点之间相互通信做准备
[root@ gp-master ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.1 gp-master gp-master
192.168.0.2 gp-sdw1 gp-sdw1
192.168.0.3 gp-sdw2 gp-sdw2
192.168.0.4 gp-sdw3 gp-sdw3
2.1.2 复制到子节点
配置了主节点文件之后复制到其余子节点
scp /etc/hosts gp-sdw1:/etc
2.1.3 依次修改各个节点/etc/sysconfig/network文件
同时修改各个子节点和主节点 /etc/sysconfig/network这个文件如下（这个不同节点配置不一样，无法复制，所有机器都要修改）
[root@ gp-master ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME= gp-maste
这里的HOSTNAME一定要与/etc/hosts中的主机名一致，终可以使用ping gp-sdw1节点名称命令测试是否配置好了
2.2 修改主节点系统内核/etc/sysctl.conf文件
（说明：相同的配置先在主节点节点上配置，配置完成后在2.5小节中复制到其它节点上）
vi /etc/sysctl.conf
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.defalut.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2 ### 测试环境要取消这个，否则oracle启不来 ### 值为1
2.3 修改主节点进程数/etc/security/limits.d/90-nproc.conf文件
（说明：相同的配置先在主节点节点上配置，配置完成后在2.5小节中复制到其它节点上）
vi /etc/security/limits.d/90-nproc.conf
* soft nproc 131072
root soft nproc unlimited
2.4 关闭所有节点防火墙，修改主节点/etc/selinux/config文件
（说明：相同的配置先在主节点节点上配置，配置完成后在2.5小节中复制到其它节点上）
关闭防火墙： service iptables stop
关闭开机启动防火墙：chkconfig iptables off
查看防火墙状态 service iptables status
vi /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
# targeted - Targeted processes are protected,
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
2.5 复制主节点配置到子节点
依次复制到各个子节点
scp /etc/sysctl.conf gp-sdw1:/etc
scp /etc/security/limits.d/90-nproc.conf gp-sdw1:/etc/security/limits.d
scp /etc/selinux/config gp-sdw1:/etc/selinux
后让各个节点配置生效
[root@dw-greenplum-1~]# sysctl -p（让配置生效）
2.6 创建gpadmin用户（所有节点）
groupadd -g 530 gpadmin
useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin
chown -R gpadmin:gpadmin /home/gpadmin
echo "gpadmin" | passwd --stdin gpadmin
三、安装Greenplum DB
3.1 在Master节点上安装Greenplum DB
安装包是rpm格式的执行rpm安装命令：
rpm -ivh greenplum-db-5.0.0-rhel6-x86_64.rpm
默认的安装路径是/usr/local，然后需要修改该路径gpadmin操作权限：
chown -R gpadmin:gpadmin /usr/local
3.2 创建配置集群hostlist文件,打通节点
3.2.1 创建一个hostlist,包含所有节点主机名：
su - gpadmin
mkdir -p /home/gpadmin/conf
vi /home/gpadmin/conf/hostlist
gp-master
gp-sdw1
gp-sdw2
gp-sdw3
3.2.2 创建一个 seg_hosts ，包含所有的Segment Host的主机名：
vi /home/gpadmin/conf/seg_hosts
gp-sdw1
gp-sdw2
gp-sdw3
3.2.3 配置ssh免密连接：
[root@ gp-master ~]# su - gpadmin
[gpadmin@ gp-master ~]# source /usr/local/greenplum-db/greenplum_path.sh
[gpadmin@ gp-master ~]# gpssh-exkeys -f /home/gpadmin/conf/hostlist
[STEP 1 of 5] create local ID and authorize on local host
... /home/gpadmin/.ssh/id_rsa file exists ... key generation skipped
[STEP 2 of 5] keyscan all hosts and update known_hosts file
[STEP 3 of 5] authorize current user on remote hosts
... send to gp-sdw1
... send to gp-sdw2
... send to gp-sdw3
#提示：这里提示输入各个子节点gpadmin用户密码
[STEP 4 of 5] determine common authentication file content
[STEP 5 of 5] copy authentication files to all remote hosts
... finished key exchange with gp-sdw1
... finished key exchange with gp-sdw2
... finished key exchange with gp-sdw3
[INFO] completed successfully
测试免密连接是否成功：
[root@ gp-master ~]# ssh gp-sdw1 #不需要密码即可登录；
或者：
[root@ gp-master ~]# gpssh -f /home/gpadmin/conf/hostlist
=> pwd
[gp-sdw1] /home/gpadmin
[gp-sdw3] /home/gpadmin
[gp-sdw2] /home/gpadmin
[ gp-master] /home/gpadmin
=> exit
出现上面结果就是成功了。
3.3在Segment节点上安装Greenplum DB
在各个子节点进行文件夹赋权：
chown -R gpadmin:gpadmin /usr/local
chown -R gpadmin:gpadmin /opt
在主节点打包安装包并复制到各个子节点：
[gpadmin@mdw conf]$ cd /usr/local/
打包：
[gpadmin@mdw greenplum]$ tar -cf gp.tar greenplum-db-5.0.0/
[gpadmin@mdw greenplum]$ gpscp -f /home/gpadmin/conf/seg_hosts gp.tar =:/usr/local/
ok，如果没有意外，就批量复制成功了，可以去子节点的相应文件夹查看，之后要将tar包解压，现在我们将采用对子节点使用批量解压操作：
[gpadmin@mdw conf]$ source /usr/local/ greenplum-db/greenplum_path.sh
[gpadmin@mdw conf]$ gpssh -f /home/gpadmin/conf/seg_hosts #统一处理子节点
=> cd /usr/local
[sdw3]
[sdw1]
[sdw2]
=> tar -xf gp.tar
[sdw3]
[sdw1]
[sdw2]
#建立软链接
=> ln -s ./greenplum-db-5.0.0 greenplum-db
[sdw3]
[sdw1]
[sdw2]
=> ll(可以使用ll查看一下是否已经安装成功)
=>exit(退出)
这样就完成了所有节点的安装。
四、初始化数据库
4.1 创建资源目录
source /usr/local/ greenplum-db/greenplum_path.sh
gpssh -f /home/gpadmin/conf/hostlist #统一处理所有节点
#创建资源目录 /opt/greenplum/data下一系列目录（生产目录个数可根据需求生成）
=> mkdir -p /opt/greenplum/data/master
=> mkdir -p /opt/greenplum/data/primary
=> mkdir -p /opt/greenplum/data/mirror
=> mkdir -p /opt/greenplum/data2/primary
=> mkdir -p /opt/greenplum/data2/mirror
4.2环境变量配置
4.2.1 在主节点进行环境变量配置
vi /home/gpadmin/.bash_profile 在后添加
source /usr/local/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/opt/greenplum/data/master/gpseg-1
export GPPORT=5432
export PGDATABASE=gp_sydb
4.2.2 然后依次复制到各个子节点:
scp /home/gpadmin/.bash_profile gp-sdw1:/home/gpadmin/
。。。
4.2.3 让环境变量生效:
source .bash_profile
4.3 NTP 配置
启用master节点上的ntp，并在Segment节点上配置和启用NTP：
echo "server gp-master perfer" >>/etc/ntp.conf
gpssh -f /home/gpadmin/conf/hostlist -v -e 'sudo ntpd'
gpssh -f /home/gpadmin/conf/hostlist -v -e 'sudo /etc/init.d/ntpd start && sudo chkconfig --level 35 ntpd on'
备注：这一步执行比较慢，执行完，时间也没同步成功，不知道为什么。但实际不影响数据库安装。
4.4 初始化前检查连通性
检查节点与节点之间文件读取；
cd /usr/local/greenplum-db/bin
gpcheckperf -f /home/gpadmin/conf/hostlist -r N -d /tmp
-- NETPERF TEST
-------------------
====================
== RESULT
====================
Netperf bisection bandwidth test
gp-master -> gp-sdw1 = 72.220000
gp-sdw2 -> gp-sdw3 = 21.470000
gp-sdw1 -> gp-master = 43.510000
gp-sdw3 -> gp-sdw2 = 44.200000
Summary:
sum = 181.40 MB/sec
min = 21.47 MB/sec
max = 72.22 MB/sec
avg = 45.35 MB/sec
median = 44.20 MB/sec
出现以上内容证明各个节点已经可以连通。
4.5 执行初始化
初始化 Greenplum 配置文件模板都在/usr/local/greenplum-db/docs/cli_help/gpconfigs目录下,gpinitsystem_config是初始化 Greenplum 的模板，此模板中 Mirror Segment的配置都被注释；创建一个副本，对其以下配置进行修改：
cd /usr/local/greenplum-db/docs/cli_help/gpconfigs
cp gpinitsystem_config initgp_config
vi initgp_config
#以下为文本要修改的属性字段配置
#资源目录为在4.1章节创建的资源目录，配置几次资源目录就是每个子节点有几个实例（推荐4-8个，这里配置了6个，primary与mirror文件夹个数对应）
declare -a DATA_DIRECTORY=(/opt/greenplum/data/primary /opt/greenplum/data/primary /opt/greenplum/data/primary /opt/greenplum/data2/primary /opt/greenplum/data2/primary /opt/greenplum/data2/primary)
declare -a MIRROR_DATA_DIRECTORY=(/opt/greenplum/data/mirror /opt/greenplum/data/mirror /opt/greenplum/data/mirror /opt/greenplum/data2/mirror /opt/greenplum/data2/mirror /opt/greenplum/data2/mirror)
ARRAY_NAME=”gp_sydb” #4.2.1章节配置的初始化数据库名称
MASTER_HOSTNAME=gp-master #主节点名称
MASTER_DIRECTORY=/opt/greenplum/data/master #资源目录为在4.1章节创建的资源目录
MASTER_DATA_DIRECTORY=/opt/greenplum/data/master/gpseg-1 #与4.1章节配置一样
DATABASE_NAME=gp_sydb #4.2.1章节配置的初始化数据库名称
MACHINE_LIST_FILE=/home/gpadmin/conf/seg_hosts #就是3.2.2章节创建的文件
执行初始化；
gpinitsystem -c initgp_config -S
若初始化失败，需要删除/opt下的数据资源目录重新初始化；
若初始化成功，那恭喜你已经安装成功了。
五、数据库操作
5.1 停止和启动集群
gpstop -M fast
gpstart -a
5.2 登录数据库
$ psql -d postgres #进入某个数据库
postgres=# \l # 查询数据库
List of databases
Name | Owner | Encoding | Access privileges
-----------+---------+----------+---------------------
gp_sydb | gpadmin | UTF8 |
postgres | gpadmin | UTF8 |
template0 | gpadmin | UTF8 | =c/gpadmin
: gpadmin=CTc/gpadmin
template1 | gpadmin | UTF8 | =c/gpadmin
: gpadmin=CTc/gpadmin
(4 rows)
postgres=# \i test.sql #执行sql
postgres=# copy 表名 to '/tmp/1.csv' with 'csv'; #快速导出单表数据
postgres=# copy 表名 from '/tmp/1.csv' with 'csv'; #快速导入单表数据
postgres=# \q #退出数据库
5.3 集群状态
gpstate -e #查看mirror的状态
gpstate -f #查看standby master的状态
gpstate -s #查看整个GP群集的状态
gpstate -i #查看GP的版本
gpstate --help #帮助文档，可以查看gpstate更多用法
目前为止数据库已经操作完毕。默认只有本地可以连数据库，如果需要别的I可以连，需要修改gp_hba.conf文件，具体这里不再赘述。
如果你需要greenplum可以连接hdfs读取文件生成外部表，需要配hadoop环境：请参看第六章节。
六，greenplum的hadoop环境配置
说明：安装greenplum后，建外部表如果需要读取HDFS文件的话，需要进行该配置。
（所有子节点）解压tar -zxvf hadoop-2.6.0-cdh5.8.0.tar.gz 至/home/hadoop/yarn/hadoop-2.6.0-cdh5.8.0/
（所有子节点）解压hadoop依赖的jdk tar -zxvf jdk-7u75-linux-x64.tar.gz 至/usr/java/jdk1.7.0_75
（所有子节点）修改gpadmin用户参数
vi /home/gpadmin/.bash_profile
在配置文件添加
export JAVA_HOME=/usr/java/jdk1.7.0_75
export CLASSPATH=$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/home/hadoop/yarn/hadoop-2.6.0-cdh5.8.0
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH
（只在master节点执行）配置hadoop版本信息及路径信息
gpconfig -c gp_hadoop_target_version -v "cdh5"
gpconfig -c gp_hadoop_home -v "/home/hadoop/yarn/hadoop-2.6.0-cdh5.8.0"
重启gp
————————————————
本文来源：https://blog.csdn.net/king13127/article/details/83989704
相关文章