hadoop分布式安装步骤
Hadoop 分布式安装步骤：
- 准备工作：
- 确定 Hadoop 版本，下载安装包，检查主机是否符合安装要求；
- 在每台服务器上安装JDK，并配置环境变量；
- 确定系统用户，并且创建hadoop组；
- 确定存储数据的目录，并将其设置为hadoop用户的家目录；
- 在每台服务器上安装SSH，并配置SSH免登录；
- 配置Hadoop：
- 配置hadoop-env.sh，设置Hadoop运行环境，如JAVA_HOME；
- 配置core-site.xml，设置HDFS的默认文件系统，以及NameNode的RPC端口；
- 配置hdfs-site.xml，设置NameNode和DataNode的存储目录，以及DataNode的数据传输端口；
- 配置mapred-site.xml，设置JobTracker的RPC端口；
- 配置yarn-site.xml，设置ResourceManager的RPC端口，以及NodeManager的端口；
- 配置slaves，指定Hadoop集群中的DataNode节点；
- 启动Hadoop：
- 启动NameNode；
- 启动DataNode；
- 启动ResourceManager；
- 启动NodeManager；
- 启动JobTracker；
- 启动Hadoop客户端；
- 测试Hadoop：
- 使用HDFS命令检查HDFS是否正常工作；
- 使用MapReduce编写程序，提交作业，检查作业是否能够正常运行；
相关文章