hive运行报错running beyond virtual memory错误原因及解决办法是什么

hive运行报错running beyond virtual memory错误原因及解决办法是什么

运行hive时，有时会报错“running beyond virtual memory”。

这是因为hive运行时会产生大量的临时文件，而hive的虚拟内存不足以存储这些临时文件，导致错误。

解决办法是增加hive的虚拟内存。

方法是修改hive的配置文件hive-site.xml，增加以下配置：

hive.exec.scratchdir

/tmp/hive

hive.exec.local.scratchdir

${hive.exec.scratchdir}

hive.downloaded.resources.dir

${hive.exec.scratchdir}/resources

hive.querylog.location

${hive.exec.scratchdir}/hive.log

hive.querylog.enable

true

上述配置中，hive.exec.scratchdir指定hive的临时文件目录，可以指定任意目录。

hive.exec.local.scratchdir指定本地临时文件目录，默认为hive.exec.scratchdir。

hive.downloaded.resources.dir指定下载的资源文件目录，默认为hive.exec.scratchdir/resources。

hive.querylog.location指定查询日志文件目录，默认为hive.exec.scratchdir/hive.log。

hive.querylog.enable指定是否启用查询日志，默认为true。

增加上述配置后，重启hive服务即可。