活了二十多年,没能为祖国、为人民做点什么,每思及此,伤心欲绝 !

 分类:大数据

hive中orc格式表的数据导入

hive中orc格式表的数据导入
hive创建orc格式表不能像textfile格式一样直接load数据到表中,需要创建临时textfile表,然后通过insert into 或者insert overwrite到orc存储格式表中。 如果你直接load数据到orc格式表中,这个步骤可以成功,但是会发现'sel...

keguang 5个月前 (04-12) 990℃ 0评论 0喜欢

hive常见问题

hive常见问题
1 hiveserver2 不识别udf函数 新写的UDF在hive cli注册以后,无法在hiveserver2远程连接时使用,show functions没有这个函数。 在无法使用UDF的 HiveServer2 上,执行 reload function 命令,将MetaSt...

keguang 1年前 (2019-08-05) 1315℃ 1评论 3喜欢

hive udf 使用方法

hive udf 使用方法
hive作为一个sql查询引擎,自带了一些基本的函数,比如count(计数),sum(求和),有时候这些基本函数满足不了我们的需求,这时候就要写hive hdf(user defined funation),又叫用户自定义函数,应用与select 语句中。 哪些情况满足不了我们的...

keguang 1年前 (2019-04-08) 614℃ 0评论 2喜欢

使用scala编写flink消费kafka实时计算pv,uv

使用scala编写flink消费kafka实时计算pv,uv
实时统计pv、uv是再常见不过的大数据统计需求了,前面出过一篇SparkStreaming实时统计pv,uv的案例,这里用flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv,uv情况,并且有如下要求. 每秒钟要输出最新的统计结果 程序永远跑着不会停,所以要定期清...

keguang 1年前 (2019-04-05) 712℃ 0评论 0喜欢