其实,我是个演员!

hive常见问题

大数据 keguang 133℃ 0评论

1 hiveserver2 不识别udf函数

新写的UDF在hive cli注册以后,无法在hiveserver2远程连接时使用,show functions没有这个函数。

在无法使用UDF的 HiveServer2 上,执行 reload function 命令,将MetaStore中新增的UDF信息同步到HiveServer2内存中,即可。

2 修复大量分区

在复制hive分区表的时候,将数据复制到hive表对应目录后需要修复元数据,如果一次修复的分区数据太大,会报错:

设置:

即可解决。

3 hive on spark问题

hive on spark执行引擎下可能会出现任务创建失败的问题,报错信息类似于如下:

可能由于集群资源不足,这时候可以将执行引擎切换为mr:

4 关联查询 map join

mapjoin可能由于数据量过大,导致hashtable过大,信息通常如下:

关闭本地map join优化即可。

 

 

转载请注明:不负此生 » hive常见问题

喜欢 (2)or分享 (0)
头像
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 头像
    虽然不懂,但是必须得努力学习。
    好看的小说2019-08-12 21:44 回复