某省电信运营商数据仓库系统CirroData加速案例

某省电信运营商基于东方国信国产CirroData分布式数据库，构建了数据仓库系统，并采用东方国信“数据云”和“数据科学云”产品作为数据中台，完成了数字化多维分析生态体系建设，通过统一数据标准和口径，对海量异构数据进行集中化的采集、存储、计算和加工，实现了全域数据的一体化计算和存储。

随着数据仓库系统中全域数据融合的日益成熟，进一步发挥数据仓库系统的潜能，提升全域数据资产的服务体验，成为数据仓库系统的重要发展方向之一。

某省电信运营商为实现数据仓库系统的加速优化，提升数据仓库系统的服务体验，联合东方国信和Intel公司，通过对原有系统的业务数据访问链路进行性能分析，在保持原有数据仓库系统架构不变的前提下，设计出系统性能优化方案：即对分布式集群节点进行垂直扩展(Scale-up），在每个节点的存储层增加Intel傲腾SSD盘作为高速缓存，在提升每个节点缓存性能的同时，让每个节点的计算能力也能得到进一步的发挥。

某省电信运营商数据仓库加速方案架构图如下：

图1: 某省电信运营商数据仓库加速方案架构

某省电信运营商数据仓库系统整体流程中，日批次数据加工流程的任务数多达5000多个，每日增量数据约4TB左右，通过对全流程的性能数据做深入分析，发现：流程中结果数据加载任务是系统中为耗时的一个环节，所以，提升系统数据加载性能是本次加速优化的重点之一。综合上述分析，本加速方案基于CirroData存储访问代价模型，发挥CirroData分布式数据库计算存储分离架构的灵活性，在存储层面对每个节点进行了垂直扩展(Scale-up)，采用了Intel傲腾SSD盘作为高速缓存，从而使得日批次数据加工流程的性能得到明显改善。

CirroData存储访问代价模型可参考如下：

图2: CirroData存储访问代价模型

其中：傲腾SSD盘是Intel公司基于傲腾技术研发的一款新型固态存储产品，作为CirroData分布式数据库的加速、缓存和分层存储产品，可以加快分析型应用速度、降低延迟敏感型工作负载的处理代价，并改善数据中心的整体TCO。

测试结果表明，对比原有系统中CirroData采用普通硬盘作为外部缓存，CirroData采用傲腾SSD盘作为外部缓存的加速效果是：日批次数据加工业务性能提升12.48%，做到了 “空间换时间”的系统优化目标。

此次基于实际生产系统的性能优化和测试验证，遵循空间和时间平衡的优化原则，有效地利用了CirroData的“计算分布”“数据分布”全局均衡特性，通过采用Intel傲腾SSD盘对集群节点进行垂直扩展(Scale-up)，使得CirroData分布式数据库的强大分析能力得到进一步发挥，也为某省电信运营商、东方国信与Intel三方未来深入合作，充分利用国际先进技术，提供了可供参考的实际案例。未来，在此案例基础上，将进一步打造CirroData分布式数据库特色产品方案，以帮助企业用户进一步发挥数据库仓库系统的业务潜能。

来源 https://mp.weixin.qq.com/s/f1SnZU7KXCg6rHs5O27dHQ