Giraph 单机及集群上运行任务命令说明
单机运行 Giraph 任务
在单机运行 Giraph 任务之前,确保已经设置了
HADOOP_CONF_DIR
环境变量的值
命令行输入
$ export HADOOP_CONF_DIR=$GIRAPH_HOME
设置过环境变量后,就可以执行自己的任务了
$ giraph [jar文件路径] [类名] -vif [节点输入格式的类名] -vip [节点输入文件路径] -vof [节点输出格式的类名] -op [输出文件路径] -w 1 -ca giraph.SplitMasterWorker=false
例:
$ giraph giraph-examples.jar org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /home/username/graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /home/username/shortestpaths -w 1 -ca giraph.SplitMasterWorker=false
集群上运行 Giraph 任务
在集群上运行 Giraph 任务时,不需要再设置
*环境变量,如果已经设置,建议将原命令行窗口关闭,然后打开一个新窗口。HADOOP_CONF_DIR
*
命令行输入
$ hadoop jar [jar文件路径] org.apache.giraph.GiraphRunner [类名] -vif [节点输入格式的类名] -vip [节点输入文件路径] -vof [节点输出格式的类名] -op [输出文件路径] -w [worker数量] -ca mapred.job.tracker=[master主机地址]
例:
$ hadoop jar giraph-examples.jar org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInput
相关文章