HashData 数据仓库离线安装手册

HashData 数据仓库离线安装手册
章：文档概述
1.1 适用范围
本安装手册适用于 HashData 数据仓库 V1.2.2 版本的离线安装操作。
本安装手册适用于 Redhat Linux 7.0 以上版本和 CentOS 7.0 以上版本的操作系统。
本安装手册适用于开发测试环境的安装部署。生产环境的安装部署请联系售后。
第二章：安装前的准备
2.1 操作系统准备
2.1.1 操作系统要求
Redhat Linux 7.0 以上版本和 CentOS 7.0 以上版本的操作系统
推荐使用 CentOS 7.3
2.1.2 修改主机名
推荐主节点的主机名称为 mdw
推荐计算节点的主机名称为 sdw0，sdw1，...
可以在推荐主机名称前，根据运维的具体要求，增加前缀。例如：department-olap-mdw
2.1.2.1. 使用以下命令修改主机名称:
hostnamectl set-hostname --static <Your-New-Host-Name-Here>
1
使用 AWS 主机时，需要进行的额外步骤

使用文本编辑器，编译文件 /etc/cloud/cloud.cfg

sudo vi /etc/cloud/cloud.cfg
1
在文件末尾增加以下内容，使得更改的内容能够在重启后生效

preserve_hostname: true
1
2.1.2.2. 重启服务器:
sudo reboot
1
2.1.2.3. 验证主机名称
通过以下命令查看主机名称，主机名称应该是步中设置的名称。

hostname
1
2.1.3 修改/etc/hosts文件
为了确保主机名称到 IP 地址的正确解析，需要为每台主机设置相同的 /etc/hosts 文件。

主机名称应当正确的解析到每台主机对应的内网 IP 地址。

2.1.4 配置防火墙或者 AWS 安全组策略
集群主机之间，需要在 TCP 任意端口之间能够正常相互通信。
集群主机之间，需要在 UDP 任意端口之间能够正常相互通信。
主节点需要能够 ping 通任意其它计算节点。
2.1.5 准备数据磁盘空间
建议为数据准备单独的磁盘，挂载到 /data 目录下。
建议数据盘使用 xfs 文件系统。
建议整个集群数据盘的总空间为预期数据总量的两倍以上，为临时数据预留足够空间。
建议/data目录的权限为777, 数据仓库会使用自己的用户在 /data 目录下创建子目录。
2.2 准备离线安装程序
通过以下链接下载离线安装程序，并拷贝到所有主机上准备安装。

版本 下载地址 安装方式
v1.2.2 下载地址 离线安装
第三章：离线安装
3.1 解压离线安装包
执行以下命令解压离线安装包：

tar -xzf hashdata-all-in-one-v1.2.2.tar.gz
1
3.2 进行离线安装
进入离线安装包目录：

cd repo
1
以 root 身份执行以下命令进行离线安装：

bash ./install.sh setup_local
1
在所有节点上重复以上操作。

3.3 配置 gpadmin 用户 ssh 互信访问
离线安装时，会自动创建 gpadmin 用户。
集群之间，通过 gpadmin 用户相互进行 ssh 访问时要求不需要输入密码。
3.3.1 为 gpadmin 用户生成 ssh 秘钥对
3.3.1.1 切换为 gpadmin 用户
su - gpadmin
1
3.3.1.2 为 gpadmin 用户生成 ssh 秘钥对, passphrase 为空
[gpadmin@mdw ~]$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/gpadmin/.ssh/id_rsa):
Created directory '/home/gpadmin/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/gpadmin/.ssh/id_rsa.
Your public key has been saved in /home/gpadmin/.ssh/id_rsa.pub.
The key fingerprint is:
1d:8a:ea:a9:20:a5:7e:ae:72:20:23:b4:f4:35:b3:36 gpadmin@mdw
The key's randomart image is:
+--[ RSA 2048]----+
| |
| |
| . |
| o + . o . |
|o + . = S . |
|=+ . E |
|*o o . |
|+..o . |
|.+=oo |
+-----------------+
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
3.3.1.3 记录公钥
cat ~/.ssh/id_rsa.pub
1
3.3.1.4 生成 authorized_keys 文件
在每个节点上重复以上步骤
收集所有节点的公钥，组成 authorized_keys 文件。
authorized_keys 文件每行应该为一个节点的公钥。
将 authorized_keys 文件拷贝到每个节点的 /home/gpadmin/.ssh/ 目录下。
authorized_keys 文件的权限必须为600
第四章：初始化数据仓库
4.1 准备工作
以下操作均在 gpadmin 用户下，在主节点完成。

4.1.1 准备 hostfile 文件
将所有计算节点的主机名称，每行一个写入文件 hostfile
hostfile 文件不包含主节点
hostfile 文件示例：

sdw0
sdw1
sdw2
...
sdwn
1
2
3
4
5
4.1.2 准备配置文件
拷贝配置文件模板：

cp /opt/gpsql/docs/cli_help/gpconfigs/gpinitsystem_config gpinitsystem_config
1
编辑配置文件 gpinitsystem_config, 修改以下内容, 其余内容保持不变：

MASTER_HOSTNAME=mdw
declare -a DATA_DIRECTORY=(/data/hashdata/primary)
MASTER_DIRECTORY=/data/hashdata/master
1
2
3
其中 mdw 为主节点名称，应根据实际情况修改。

4.1.3 创建数据目录
在主节点上创建目录 /data/hashdata/master，属主是 gpadmin。
在所有计算节点上创建目录 /data/hashdata/primary，属主是 gpadmin。
4.1.4 初始化数据仓库
在主节点上，执行以下命令初始化数据仓库。

gpinitsystem -c gpinitsystem_config -h hostfile
1
添加环境变量

export MASTER_DATA_DIRECTORY=/data/hashdata/master/gpseg-1
echo "export MASTER_DATA_DIRECTORY=/data/hashdata/master/gpseg-1" >>/home/gpadmin/.bashrc
1
2
第五章：配置数据仓库
5.1 安装 PostGIS Madlib 等插件（可选）
在主节点以 gpadmin 用户执行以下脚本安装插件

post_initialize_database.sh
1
5.2 修改访问权限
默认情况下，用户无法远程访问数据仓库。
在主节点以 gpadmin 用户执行以下命令，设定远程用户通过密码访问数据仓库。

echo "host all all 0.0.0.0/0 md5" >>/data/hashdata/master/gpseg-1/pg_hba.conf
1
在主节点以 gpadmin 用户执行以下命令，使配置修改生效。

gpstop -u
1
5.3 创建默认数据库和用户
在主节点以 gpadmin 用户执行以下命令，创建默认数据库 gpadmin

createdb
1
在主节点以 gpadmin 用户执行以下命令，为默认用户 gpadmin 设置密码

psql -c "alter user gpadmin with password 'NEW PASSWORD'"
1
第六章：附录
6.1 初始化失败之后需要清理的目录：
在所有节点以 gpadmin 用户执行以下命令：

rm -rf /data/hashdata/master/*
rm -rf /data/hashdata/primary/*
pkill -9 postgres
rm -rf /tmp/.s.PGSQL.*
rm -rf /home/gpadmin/.gphostcache
ipcclean
1
2
3
4
5
6
6.2 错误信息及解决方案
####报错信息

Warning: the RSA host key for ‘sdw0’ differs from the key for the IP address ‘172.31.19.100’

Offending key for IP in /home/gpadmin/.ssh/known_hosts:2

Matching host key in /home/gpadmin/.ssh/known_hosts:6

解决方案：删除主节点/home/gpadmin/.ssh/目录下的的 known_hosts 文件
————————————————
版权声明：本文为CSDN博主「GaryZhang000」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/zhang50303/article/details/76064001