StarRocks实战——云览科技存算分离实践

目录

背景

一、平台现状&痛点

1.1 使用组件多，维护成本高

1.2 链路冗长，数据时效性难以保证

1.3 服务稳定性不足

二、StarRocks 存算分离调研

2.1 性能对比

2.2 易用性

2.3 存储成本

三、StarRocks 存算分离实践

3.1 查询优化

3.1.1 物化视图

3.1.2 数据分桶

3.1.3 聚合查询模型

3.1.4 Cache

3.2 降本

3.3 运维监控

3.4 数据迁移

四、未来规划

4.1 数据湖 + StarRocks缩短计算链路

4.2 StarRocks构建数据湖仓一体新架构

    原文大佬的这篇存算分离实践是有借鉴意义的，摘抄下来用作沉淀学习。如有侵权，请告知~

背景

  云览科技公司倾力打造了凤凰浏览器，专注于为海外用户提供服务，作为数据驱动的高科技公司，从数据中挖掘价值一直是公司核心任务，公司以前选用了众多组件来提升内部大数据分析效率，如 Trino 作为即席查询的工具、用 ClickHouse 和 StarRocks 来加速报表业务查询，但经过长期实践，最终决定将所有内部数据分析平台统一至 StarRocks。并且社区在 3.0.0 版本中发布的存算分离能力，与公司内部大数据平台部门正在推动的降本增效理念非常契合，部门也在第一时间测试验证，确定评测各方面满足业务需求后，已经开始逐步在线上业务中替换现有系统，未来也会作为公司大数据平台部门统一数据架构的重点发展方向。

一、平台现状&痛点

 作为公司内部大数据平台部门，主要负责公司海量数据处理、数据质量保证及指标体系维护的工作，服务公司四大业务场景：用户画像，报表，实验系统以及业务服务。公司大数据平台经过上云及几次云平台迁移，当前结合某云 EMR、对象存储建设存算分离的架构，主要架构如下图所示：