Greenplum 6.17 集群搭建
Greenplum 6.17 集群搭建
一、集群规划
二、环境说明
三、安装前准备
1、虚拟机小安装需要的其他工具
sudo yum install -y epel-release
sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git
2、修改系统文件
修改系统资源限制，/etc/security/limits.conf 文件添加以下信息
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
修改系统内核信息，/etc/sysctl.conf 文件添加以下信息：
# kernel.shmall用以下命令计算 echo $(expr $(getconf _PHYS_PAGES) / 2)
kernel.shmall = 357475
# kernel.shmmax用以下命令计算 echo $(expr $(getconf _PHYS_PAGES) / 2 \* $(getconf PAGE_SIZE))
kernel.shmmax = 1464217600
kernel.shmmni = 4096
vm.overcommit_memory = 2
vm.overcommit_ratio = 95
kernel.sem = 500 2048000 200 4096
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 3
vm.dirty_ratio = 10
修改完毕后执行命令立即生效
sysctl -p
修改/etc/security/limits.d/下的 **-nproc.conf 文件为（该文件名称可能为20-nproc.conf 或 90-nproc.conf）：
* soft nproc 131072
3、关闭防火墙
关闭防火墙
systemctl stop firewalld
关闭防火墙自启
systemctl disable firewalld
查看防火墙状态
systemctl status firewalld
systemctl is-enabled firewalld
关闭 selinux，修改/etc/sysconfig/selinux：
SELINUX=disabled
配置生效
setenforce 0
4、配置host
修改/etc/hostname
5、添加用户群组
添加 gpadmin 用户群组并赋予相应权限
# 添加群组
groupadd -g 530 gpadmin
# 添加用户
useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin
# 更改所有者
chown -R gpadmin:gpadmin /home/gpadmin
# 修改密码
passwd gpadmin
为用户分配sudo执行权限
visudo
在“root ALL=(ALL) ALL”后面添加
gpadmin ALL=(ALL) ALL
==============================================
克隆其余两台虚拟机，修改ip和host
修改host对应的文件： /etc/hostname
修改ip对应的文件： /etc/sysconfig/network-scripts（一般是ifcfg-ens33）
===============================================
四、安装前配置
1、添加host映射
在 /etc/hosts中添加集群host和ip
192.168.2.20 master
192.168.2.21 segment1
192.168.2.22 segment2
2、ssh免密登录（gpadmin用户）
生成秘钥（三个节点）
ssh-keygen -t rsa
segment节点公钥发送master节点
# segment1公钥复制
cp ~/.ssh/id_rsa.pub ~/.ssh/segment1_id_rsa.pub
# segment2公钥复制
cp ~/.ssh/id_rsa.pub ~/.ssh/segment1_id_rsa.pub
# segment1公钥发送
scp ~/.ssh/segment1_id_rsa.pub master:~/.ssh
# segment2公钥发送
scp ~/.ssh/segment2_id_rsa.pub master:~/.ssh
master节点公钥合并
cat id_rsa.pub segment1_id_rsa.pub segment2_id_rsa.pub >> authorized_keys
master节点合并公钥发送
scp ~/.ssh/authorized_keys segment1:~/.ssh
scp ~/.ssh/authorized_keys segment2:~/.ssh
修改权限
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
3、创建master节点配置文件
切换到gpadmin用户
su - gpadmin
创建配置文件夹
mkdir -p /home/gpadmin/conf
创建 hostlist并编辑文件
vim /home/gpadmin/conf/hostlist
master
segment1
segment2
创建 seg_hosts 文件并编辑
vim /home/gpadmin/conf/seg_hosts
segment1
segment2
五、安装（gpadmin用户）
三台机器分别都安装 greenplum 到指定目录
rpm -ivh --prefix=/usr/local/services/greenplum/ open-source-greenplum-db-6.17.2-rhel7-x86_64.rpm
按照提示安装所需的依赖
eg（某次安装缺少的依赖包）：
sudo yum install -y bzip2 libyaml zip libevent
在master节点，切换为root用户，greenplum 配置免密连接
source /usr/local/services/greenplum/greenplum-db/greenplum_path.sh
gpssh-exkeys -f /home/gpadmin/conf/hostlist
批量创建数据目录，并授权
# 免密连接，三台机器批量操作
gpssh -f /home/gpadmin/conf/hostlist
mkdir -p /opt/greenplum/data/master
mkdir -p /opt/greenplum/data/primary
mkdir -p /opt/greenplum/data/mirror
mkdir -p /opt/greenplum/data2/primary
mkdir -p /opt/greenplum/data2/mirror
# 对用户授权
chown -R gpadmin:gpadmin /usr/local
chown -R gpadmin:gpadmin /opt
配置 gpadmin 用户的环境变量
# 打开文件
vim /home/gpadmin/.bash_profile
# 添加的内容
source /usr/local/services/greenplum/greenplum-db/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/opt/greenplum/data/master/gpseg-1
export GPPORT=5432
export PGDATABASE=gp_sydb
# 应用改变，立即生效
source /home/gpadmin/.bash_profile
六、初始化数据库
切换到gpadmin用户，新建一个初始化配置文件 initgp_config
cd /usr/local/services/greenplum/greenplum-db/docs/cli_help/gpconfigs
cp gpinitsystem_config initgp_config
修改配置文件 initgp_config
declare -a DATA_DIRECTORY=(/opt/greenplum/data/primary /opt/greenplum/data/primary /opt/greenplum/data2/primary /opt/greenplum/data2/primary)
declare -a MIRROR_DATA_DIRECTORY=(/opt/greenplum/data/mirror /opt/greenplum/data/mirror /opt/greenplum/data2/mirror /opt/greenplum/data2/mirror)
ARRAY_NAME=”gp_sydb” #初始化数据库名称
MASTER_HOSTNAME=centos01 #主节点名称
MASTER_DIRECTORY=/opt/greenplum/data/master #资源目录为之前创建的资源目录
MASTER_DATA_DIRECTORY=/opt/greenplum/data/master/gpseg-1
DATABASE_NAME=gp_sydb #配置的初始化数据库名称
MACHINE_LIST_FILE=/home/gpadmin/conf/seg_hosts
切换 gpadmin 用户，执行初始化（必须使用之前创建的用户操作，不能在root用户下操作）
source /usr/local/services/greenplum/greenplum-db/greenplum_path.sh
gpinitsystem -c initgp_config -D
此步骤如果出错的话，需要将初始化生成的 gpseg 文件全部删除，重新开始初始化（/opt/greenplum/data/ /opt/greenplum/data2内primary、master内的创建的 gpseg-1等），具体的错误信息可以在 /home/gpadmin/gpAdminLogs 内的日志查看
七、Greenplum连接外部客户端
修改主节点下的 /opt/greenplum/data/master/gpseg-1/pg_hba.conf 配置文件
# 添加一行内容，表示允许任何用户连接
host all all 0.0.0.0/0 trust
八、数据库操作
命令 意义
gpstart 启动数据库
gpstop -r 重启
gpstop -u 仅重新载入配置文件的更改
gpstop 停止数据库
psql -d gp_sydb 登录 gp_sydb 数据库
本文来源：https://blog.csdn.net/m0_51192710/article/details/123116872
相关文章