在 Hadoop Streaming 中生成单独的输出文件
问题描述
只使用一个映射器(一个 Python 脚本)而不使用 reducer，我怎样才能为每一行输出输出一个以键作为文件名的单独文件，而不是输出长文件?
Using only a mapper (a Python script) and no reducer, how can I output a separate file with the key as the filename, for each line of output, rather than having long files of output?
解决方案
您可以使用 python 文件函数写入本地文件系统上的文本文件，或者如果您想使用 HDFS，请使用 Thrift API.
You can either write to a text file on the local filesystem using python file functions or if you want to use HDFS use the Thrift API.
相关文章