配置HDFS HA后hive抛错Wrong FS怎么办

2023-04-23 15:20:00 hdfs 配置 HA

HDFS HA后hive抛错Wrong FS是由于HDFS HA后hive没有正确配置导致的，解决这个问题需要对HDFS HA和hive进行正确的配置。

首先，需要在hive-site.xml文件中添加以下配置：

fs.defaultFS=hdfs://nameservice1

hive.metastore.uris=thrift://nameservice1:9083

hive.zookeeper.quorum=nameservice1:2181

其中，nameservice1是HDFS HA集群的名称，9083是thrift服务端口号，2181是Zookeeper服务端口号。

然后，需要在hdfs-site.xml文件中添加以下配置：

dfs.nameservices=nameservice1

dfs.ha.namenodes.nameservice1=namenode1,namenode2

dfs.namenode.rpc-address.nameservice1.namenode1=namenode1:8020

dfs.namenode.rpc-address.nameservice1.namenode2=namenode2:8020

dfs.namenode.http-address.nameservice1.namenode1=namenode1:50070

dfs.namenode.http-address.nameservice1.namenode2=namenode2:50070

dfs.client.failover.proxy.provider.nameservice1=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

其中，namenode1和namenode2是HDFS HA集群中的两个NameNode节点，8020是NameNode服务端口号，50070是NameNode HTTP服务端口号。

最后，需要在core-site.xml文件中添加以下配置：

hadoop.proxyuser.hive.groups=*

hadoop.proxyuser.hive.hosts=*

其中，hive是HDFS HA集群中的用户名，*表示hive用户可以访问任何主机。

通过以上配置，HDFS HA后hive就可以正常使用了，不会再出现Wrong FS的错误。

相关文章