DorisDB(StarRocks)使用记录

2022-07-28 00:00:00 数据 部署 搭建 访问 一个月内

机器:两台36核64g,一台6核16g,网速千兆,be搭建三台集群,fe单机部署,broker对应be三台部署,机器上除了DorisDB有其他应用,无固态硬盘。

数据量:1亿7000w




1.查询一天内的访问量 0.01s




select count(id) from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-01-10 00:00:00';

2.查看一个月内的访问量



select count(id) from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00';




3.查询一个时间段内的访问日志记录数 0.10s

select count(id) from api_logs3 where req_time>'2020-03-09 00:00:00' ;




4.查询某天内的请求是200的记录数 0.02s

select count(id) from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-01-10 00:00:00' and http_code=200;




5.统计一个月内访问用户量和每个用户的访问次数 0.02s

select user_id,count(user_id) from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00' and http_code=200 group by user_id;




6.一个月内访问的所有请求日志记录详情 0.16s

select * from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00' and http_code=200;





7.一个月内某个用户的所有访问记录详情 0.04s

select * from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00' and http_code=200 and user_id = 'networkvip162';




8.每个产品的访问量 0.57s

select count(*),product_id from api_logs3 group by product_id;




9.每种产品某个月的访问量 0.01s

select count(*),product_id from api_logs3 where req_time >'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00' group by product_id;




10.每种产品每天统计访问数量 0.02s

DorisDB 统计查询比较快,有更新删除操作的不适合用明细模型,明细模型适合日志数据或者时序数据,以追加为主要特点,数据产生后基本不会发生太多变化。



DorisDB的可视化工具需要企业版才有。

1.导出 hdfs broker导入 hdfs 两个都需要搭建hdfs 是否可以在机器来了之后搭建

2.监控不完整 可视化工具DorisManager需要企业版才提供,用prometheus监控了部分数据。

3. 数据模型和物化视图还需要再研究下

机器:两台36核64g,一台6核16g,网速千兆,be搭建三台集群,fe单机部署,broker对应be三台部署,机器上除了DorisDB有其他应用,无固态硬盘。

1.聚合 分析 查询较快 适合日志,海量数据分析等
————————————————
版权声明:本文为CSDN博主「qq_33790251」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_33790251/article/details/118753456

相关文章