干货丨空间数据管理能力验证 人大金仓KINGBASE分析型数据库系统KADB，行！

2022-04-01 00:00:00 数据 数据库 迁移 中心 各分


随着企业数字化转型的加速，空间数据在业务中发挥着越来越重要的作用。在自然资源、环保、应急、水利、农业等强GIS相关的行业，依靠数据库实现业务数据及GIS空间数据的统一管理、计算、查询分析，成为当前实现空间数据智能化的关键一环。

GIS领域是人大金仓发力的重点领域，以金仓分析型数据库系统KADB为代表的“空间数据库”也因其的空间数据管理能力，在GIS领域得到了广泛的应用。为更直观地展示KADB分布式MPP数据库在空间数据管理方面的支持能力，本文通过模拟客户业务场景中，一主中心多分中心间业务数据的融合及透明联邦访问需求（见图一）。

测试场景如下：

  • 数据从各分中心的oracle业务库以批量及后续增量方式移动到KES（集中式数据库）前置交换库，从各分中心的KES前置交换库以增量方式将数据汇聚到主中心KADB（分布式MPP数据库）集群

  • 不经过数据汇聚，直接通过KADB集群的透明访问功能访问各分中心数据。

图一：用户需求示意图

模拟测试验证KADB分布式数据库集群以下四个方面：

  • 通过主中心透明访问各分中心的数据的可行性及性能；

  • 各分中心的数据汇聚至主中心后查询数据的可行性及性能；

  • 通过多租户方式，各分中心可以管理自己的数据，主中心具备访问各分中心数据的能力；

  • 数据增量更新过程中，查询阻塞情况的验证；

业务场景模拟（见图二），实际演示场景描述如下：

  •  ORACLE模拟分中心业务库

  •  KES关系数据库模拟各分中心对外的前置交换库

  • KADB模拟主中心分布式数据库集群

图二：数据迁移及同步流向

模拟场景功能验证：

数据迁移及同步后生成一批测试结果集，数据量如下：

表名称

数据行数

T1

20245

T2

6039

T3

345

T4

2355

T5

1149

T6

3668

T7

338

T8

694

T9

8955

T10

34

T11

2698

T12

291

GIS数据迁移及同步验证情况（如图三）：

图三：数据迁移及同步验证结果

Oracle GIS数据迁移及同步至KADB后，GIS图形显示（如图四）：

Oracle

 KADB  

图四：GIS数据在GeoScene中绘图


GeoScene访问数据库，从数据库后端获取发送到数据库端的典型sql语句，在KADB数据库端执行，验证GIS查询效率（见图五、图六）：

图五：GIS绘图时典型sql性能测试结果


图六：AO和HEAP表执行效率对比

验证KADB支持空间数据功能验证描述：

1.GDB数据可以通过GeoScene将数据文件导入Oracle和KES、KADB，并且自动创建相应的表结构；

2.支持使用GeoScene中将GIS数据从oracle迁移到KES；

3.支持使用GeoScene中将GIS数据从KES迁移到KADB；

4.支持使用KFS从KES迁移表结构及数据到KADB；

5.使用PXF透明访问，GeoScene从KADB访问KES中的GIS数据正常，GeoScene中正常显示图形；

6.相同SQL语句查询GIS数据，AO表上的效率高于HEAP表；

7.写写冲突：KADB中无论使用AO表还是使用HEAP表，如果设置数据库相应的参数后HEAP表不会产生写写阻塞，而AO表会阻塞；

8.读写冲突：KADB中AO表和HEAP表都不会发生读写的阻塞；

9.使用数据库迁移工具DTS支持从Oracle迁移GIS数据到KES；


业务场景验证结果：

经验证，KADB支持GIS数据类型及其数据格式，功能支持情况汇总如下：

  • 数据汇聚：通过工具可以将各分中心数据（包含GIS数据类型）汇聚到主中心，满足查询、制图需求。

  • 数据透明访问：各分中心数据物理存放在各分中心，主中心通过PXF（内置连接器远程访问外部异构数据源）访问方式也可直接访问各分中心的数据（包含GIS数据类型），满足查询、制图需求。

  • 数据汇聚模式与数据透明访问模式的效率差异：对比查询、制图效率，数据物理汇聚至主中心模式比分中心透明访问模式查询效率高10倍以上。

  • 多租户方式：各分中心用户在金仓数据库中与模式一一对应，一套分布式数据库，各个分中心可以独立管理自己的数据，主中心能够访问所有的数据。


附：

KFS：能够在异构数据平台间实现实时、增量数据同步的产品，主要面向异地容灾、数据集中一共享与分发、数据分析平台建设、云迁移等场景。

DTS：针对数据整合的一体化工具，用于解决数据整合、数据中心建设或数据开放平台建设过程中数据无法被方便高效地抽取、转换和装载的问题。

AO：KADB数据库中数据的一种列存储格式。

HEAP：KADB数据库中数据的一种行存储格式。

PXF：KADB数据库内置连接器支持远程访问外部异构数据源。

来自：https://mp.weixin.qq.com/s/5RB3StVAmV0HsZCyLlISCA


相关文章