如何使用SQL编写基本的ETL,而不在每次ETL运行时截断/加载?
我有一个OLTP数据库,我正在使用SQL(ETL)将其加载到另一个数据库中。为此,在第二个数据库数据库中,我基于事实和维度创建了星型架构模型。
技术:MS-SQL
事实:销售额
维度:客户、客户、代理
注意:源系统中没有修改日期字段,可以在源系统中删除行。
我有一个代理作业,它每15分钟运行一次,以执行以下操作:对于每个表,我将数据从OLTP数据库加载到相应的临时表中(对于每个维度和事实表)。然后将分段DIM表合并到DIM表中。然后更新分段事实表以包括维度的代理键。然后使用Merge将分段事实数据表与事实数据表同步。这很耗费资源,因为我必须在每次ETL运行时将整个数据加载到临时表中。因此,我正在寻找一种更好的方法--如果有人能告诉我如何做到这一点,这将对我有所帮助。解决方案
这很耗费资源,因为我必须在每次ETL运行时将整个数据加载到临时表
- 在源代码中打开Change Tracking或Change Data Capture并仅提取更改的行
或
- 使用Transactional Replication从源到临时表或使用Read-Scale Replica或Log Shipping在DW服务器上创建可读副本。
相关文章