性能验证
Last updated
Was this helpful?
Last updated
Was this helpful?
测试集群由3台虚拟机组成。每台配置如下
类型
内存
磁盘
物理CPU
逻辑核心数
虚拟机
87G
1.6T
1
16
数据导入
分别向parquet表和kudu表导入1.5亿条数据的性能,数据表样例如下:
批量导入
第一次
第二次
第三系
第四次
第五次
第六次
第七次
第八次
第九次
第十次
平均值
parquest表(s)
112
126
126
127
122
126
118
112
121
133
120.3
kudu表
1315
1289
1327
1277
1289
1321
1336
1332
1307
1313
1311
简单查询
select count(1) as cnt from p_session_parquet_partition group by browser, OS order by cnt desc limit 1000;
简单查询
第一次
第二次
第三次
第四次
第五次
第六次
第七次
第八次
第九次
第十次
平均值
Parquest表
0.88
1.45
1.25
1.24
1.28
1.2
2.26
1.53
1.77
2.4
1.626
Kudu表
3.41
2.85
3.74
5.62
4.68
4.12
5.11
2.1
3.34
2.67
3.764
统计分析
select count(1) cnt from p_event_detail eleft join p_session s on e.inner_sid = s.inner_sidgroup by e.browser order by cnt desc limit 1000;
类型
第一次
第二次
第三次
第四次
第五次
第六次
第七次
第八次
第九次
第十次
平均值
Parquest表(s)
56.23
50.47
42.23
58.71
45.19
48.24
53.76
54.23
44.23
47.26
50.065
KuDu表(s)
55.77
57.49
54.26
50.39
53.26
58.25
51.61
55.86
50.95
45.7
53.354