怎么进行hadoop性能调优

.

Hadoop性能调优包括哪些方面？

性能调优可以分为基础环境调优和应用程序调优两个方面。

基础环境调优包括操作系统、硬件和网络等方面的调优。操作系统调优主要针对的是Linux操作系统，硬件调优主要针对的是硬盘、内存和CPU等，网络调优主要针对的是网络带宽和网络拓扑结构等。

应用程序调优主要针对的是Hadoop的配置文件，包括hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml等。

根据调优的目标，可以将性能调优分为速度调优和资源调优两类。速度调优主要针对的是提高作业的运行速度，资源调优主要针对的是降低作业的运行成本。