Azure Synapse Analysis 开箱 Blog

2022-03-30 00:00:00 数据 支持 代码 增量 复制

    上一篇为大家整体介绍了 Azure Synapse Analysis 和 Synapse Link,本篇开始为大家介绍前面介绍的 DIY 方案中的部分,Cosmos DB Change Feed。我们来回顾一下整个架构:

   对 OLTP 中的数据向下游数据服务进行同步时通常有两种做法,全量同步和增量同步,Cosmos DB 作为 OLTP 数据源,其内置的 ChangeFeed 功能可以帮助用户捕捉数据库中的增量变化数据,从而提升同步效率。ChangeFeed 通过将增量数据通过 SDK 暴露访问节点,用户可以通过 SDK 获取增量变化数据,同时其支持断点(CheckPoint)用户可以自由选择获取增量数据的起始位置。Cosmos Database 支持多种数据库引擎 API 接口,如 SQL,Mongo,Cassandra 等。过去一年的时间 Cosmos DB 对 ChangeFeed 的支持范围进行了更新,从 Day1 的只支持 SQL API 和 .NET SDK 到现在支持多种数据库引擎 API 以及多种开发语言的支持,为开发人员提供了一致的体验使产品获得更好的兼容性。


 

         本文以快速入手为目标,我们选择了 SQL API + Python 的方式为大家进行演示。在整个演示过程中我们先来设计一下原始数据表格的 Schema,我们创建一个商品价目表,结构如下,其中包含商品 ID,QUANTITY 数量, PRICE 价格。

{
  'id': <string>,
  'quantity': <int>,
  'price': <int>
}

相关文章