Giraph 单机及集群上运行任务命令说明

2022-03-09 00:00:00 路径 文件 节点 输入 输出

单机运行 Giraph 任务

在单机运行 Giraph 任务之前,确保已经设置了 HADOOP_CONF_DIR 环境变量的值

命令行输入

$ export HADOOP_CONF_DIR=$GIRAPH_HOME

设置过环境变量后,就可以执行自己的任务了

$ giraph [jar文件路径] [类名] -vif [节点输入格式的类名] -vip [节点输入文件路径] -vof [节点输出格式的类名] -op [输出文件路径] -w 1 -ca giraph.SplitMasterWorker=false

例:

$ giraph giraph-examples.jar org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /home/username/graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /home/username/shortestpaths -w 1 -ca giraph.SplitMasterWorker=false

集群上运行 Giraph 任务

在集群上运行 Giraph 任务时,不需要再设置*HADOOP_CONF_DIR*环境变量,如果已经设置,建议将原命令行窗口关闭,然后打开一个新窗口

命令行输入

$ hadoop jar [jar文件路径] org.apache.giraph.GiraphRunner [类名] -vif [节点输入格式的类名] -vip [节点输入文件路径] -vof [节点输出格式的类名] -op [输出文件路径] -w [worker数量] -ca mapred.job.tracker=[master主机地址]

例:

$ hadoop jar giraph-examples.jar org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInput

相关文章