一起学Hive——总结常用的Hive优化技巧

2020-07-01 00:00:00 数据执行命令设置数量

今天总结本人在使用Hive过程中的一些优化技巧，希望给大家带来帮助。Hive优化体现程序员的技术能力，面试官在面试时喜欢问的就是Hive的优化技巧。

技巧1.控制reducer数量

下面的内容是我们每次在hive命令行执行SQL时都会打印出来的内容：

In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>

相关文章