hadoop2.2.0如何定制mapreduce输出到数据库
hadoop2.2.0如何定制mapreduce输出到数据库
hadoop2.2.0可以通过定制mapreduce程序输出到数据库。
定制mapreduce程序输出到数据库的步骤如下:
1.首先需要下载hadoop2.2.0的源码包。
2.解压源码包,进入hadoop2.2.0的源码目录。
3.修改mapreduce源码目录下的pom.xml文件,增加数据库驱动依赖。
4.修改mapreduce源码目录下的core-default.xml文件,增加数据库连接信息。
5.修改mapreduce源码目录下的mapred-default.xml文件,增加数据库表名。
6.在mapreduce源码目录下新建一个类,继承自DBOutputFormat类,实现自己的mapreduce程序。
7.编译mapreduce源码,生成jar包。
8.将jar包放入hadoop安装目录的share/hadoop/mapreduce下。
9.启动hadoop集群,运行自定义的mapreduce程序。
相关文章