如何使用SQL编写基本的ETL,而不在每次ETL运行时截断/加载?

2022-03-31 00:00:00 etl tsql sql-server ssis data-warehouse
我有一个OLTP数据库,我正在使用SQL(ETL)将其加载到另一个数据库中。为此,在第二个数据库数据库中,我基于事实和维度创建了星型架构模型。

技术:MS-SQL

事实:销售额

维度:客户、客户、代理

注意:源系统中没有修改日期字段,可以在源系统中删除行。

我有一个代理作业,它每15分钟运行一次,以执行以下操作:对于每个表,我将数据从OLTP数据库加载到相应的临时表中(对于每个维度和事实表)。然后将分段DIM表合并到DIM表中。然后更新分段事实表以包括维度的代理键。然后使用Merge将分段事实数据表与事实数据表同步。这很耗费资源,因为我必须在每次ETL运行时将整个数据加载到临时表中。因此,我正在寻找一种更好的方法--如果有人能告诉我如何做到这一点,这将对我有所帮助。


解决方案

这很耗费资源,因为我必须在每次ETL运行时将整个数据加载到临时表

  1. 在源代码中打开Change Tracking或Change Data Capture并仅提取更改的行

  1. 使用Transactional Replication从源到临时表或使用Read-Scale Replica或Log Shipping在DW服务器上创建可读副本。

相关文章