GreenPlum6.x之ETL工具

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录
前言
一、ETL是什么？
二、数据加载工具GPLoad
1.GPLoad安装部署
2.编写控制文件test.yml
总结
前言
提示：这里可以添加本文要记录的大概内容：

GreenPlum作为一款定位为OLAP系统的分布式数据库平台，具有非常强大的ETL功能，其中存储过程和GPLoad是必须掌握的数据仓库开发工具。

提示：以下是本篇文章正文内容，下面案例可供参考

一、ETL是什么？
ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。
ETL 是企业数据应用过程中的一个数据流（pipeline）的控制技术，把原始的数据经过一定的处理，放入数据仓库里。
ETL的目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。


二、数据加载工具GPLoad
1.GPLoad安装部署
代码如下（示例）：

#在虚拟机增加了一台做ETL的服务器
192.168.1.200 gpetl

mkdir -p /gpdata/gpadmin/greenplum-db-clients
chown -R hadoop:hadoop /gpdata/gpadmin/greenplum-db-clients

root: yum install apr apr-util bzip2 libyaml libevent rsync

root:
cd /gpdata/gpadmin/greenplum-db-clients
rpm -ivh greenplum-db-clients-6.18.0-rhel7-x86_64.rpm
rpm -ivh --prefix=/gpdata/gpadmin/greenplum-db-clients/ greenplum-db-clients-6.18.1-rhel7-x86_64.rpm

#将软件赋权给实际管理员用户
ls -al
chown -Rf hadoop:hadoop /gpdata/gpadmin/greenplum-db-clients*

#设置环境变量
source /gpdata/gpadmin/greenplum-db-clients/greenplum-db-clients-6.18.1/greenplum_loaders_path.sh


2.编写控制文件test.yml
代码如下（示例）：

VERSION: 1.0.0.1
DATABASE: gpdb
USER: gpadmin
HOST: 192.168.1.201
PORT: 5432
GPLOAD:
INPUT:
- SOURCE:
LOCAL_HOSTNAME:
- 192.168.1.200
PORT: 8080
FILE:
- /home/test/test.csv #数据文件路径
- COLUMNS:
- id: INT8
- MAX_LINE_LENGTH: 1000000
- FORMAT: csv
- DELIMITER: ','
- HEADER: true
OUTPUT:
- TABLE: public.t_test #测试表，表中包含字段id 类型为INT8
- MODE: insert
#准备数据文件test.csv
id


#执行gpload
gpload -f test.yml
#成功导入数据则安装成功，否则根据具体提示处理



总结
记录点点滴滴

本文来源：https://blog.csdn.net/panda_225400/article/details/128060981