活了二十多年,没能为祖国、为人民做点什么,每思及此,伤心欲绝 !

标签:大数据

大数据

hbase2.0.3 内存规划

hbase2.0.3 内存规划
读多写少 由于业务场景的需要,我们hbase偏读多写少的,虽然hbase读的速度会慢于写的速度。搭建hbase集群,需要做一些基础的配置,尽量让hbase能有一个不错的表现,其中内存规划工作占了很大的比例。 机器64G内存 序号 步骤 原理 计算公式 计算值 修正值 ...

keguang 3周前 (09-03) 53℃ 0评论 5喜欢

大数据

hive常见问题

hive常见问题
1 hiveserver2 不识别udf函数 新写的UDF在hive cli注册以后,无法在hiveserver2远程连接时使用,show functions没有这个函数。 在无法使用UDF的 HiveServer2 上,执行 reload function 命令,将MetaSt...

keguang 1年前 (2019-08-05) 1315℃ 1评论 3喜欢

机器学习

程序员必备的一些数学基础知识

程序员必备的一些数学基础知识
作为一个标准的程序员,应该有一些基本的数学素养,尤其现在很多人在学习人工智能相关知识,想抓住一波人工智能的机会。很多程序员可能连这样一些基础的数学问题都回答不上来。 矩阵A(m,n)与矩阵B(n,k)乘积C维度是多少? 抛一枚硬币,正面表示1,反面表示0,那么取值的数学期望E(...

keguang 1年前 (2019-08-05) 722℃ 0评论 1喜欢

大数据

hive udf 使用方法

hive udf 使用方法
hive作为一个sql查询引擎,自带了一些基本的函数,比如count(计数),sum(求和),有时候这些基本函数满足不了我们的需求,这时候就要写hive hdf(user defined funation),又叫用户自定义函数,应用与select 语句中。 哪些情况满足不了我们的...

keguang 1年前 (2019-04-08) 614℃ 0评论 2喜欢

大数据

使用scala编写flink消费kafka实时计算pv,uv

使用scala编写flink消费kafka实时计算pv,uv
实时统计pv、uv是再常见不过的大数据统计需求了,前面出过一篇SparkStreaming实时统计pv,uv的案例,这里用flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv,uv情况,并且有如下要求. 每秒钟要输出最新的统计结果 程序永远跑着不会停,所以要定期清...

keguang 1年前 (2019-04-05) 712℃ 0评论 0喜欢