BigQuery：使数据搬迁变得简单
迁移到 BigQuery 的综合解决方案
10月9日，谷歌云发布了 BigQuery Migration Service 的预览版，这是一组免费使用的工具，可帮助您满足端到端的迁移需求。该服务通过涵盖迁移规划、数据传输、自动化 SQL/脚本转换和数据验证的工具加快 Teradata 到 BigQuery 的迁移。即将推出对其他数据仓库的支持。
评估：规划和管理迁移风险和成本
当客户和合作伙伴一起进行迁移时，重要的一步是了解他们的生态系统、要求和业务目标。谷歌使用此信息来创建自定义迁移计划，以帮助准备和执行迁移。可以一次又一次地看到，提前识别和解决迁移的复杂性会降低 TCO 和迁移风险。
为此，谷歌云很高兴地宣布他们的自动评估工具的私人预览版是 BigQuery Migration Service 的一部分。该自动评估工具整合了了谷歌云多年帮助世界上一些大型组织使用 BigQuery 实现现代化的经验。它提供了一种简单且自动化的方法来从您的旧仓库收集统计数据并生成状态分析报告，其中包括：
- 数据库对象、数据 I/O 模式和依赖项列表
- 自动查询翻译覆盖率和结果
- 查询到对象的映射（例如，它使用哪些表、视图、函数）
- 用户到表的映射（例如，哪些用户访问哪些表）
- 表关联（例如，经常连接或子查询的表）
- 正在使用的 BI/ETL 工具列表
摘要报告可帮助您有效地确定优先级并清楚地了解执行迁移所需的所有组件和工作量。此外，所有基础评估数据都在 BigQuery 数据集中提供，以便为您和您的迁移合作伙伴进行完全自定义和临时分析。
SQL 翻译：减少手动工作、时间和错误
数据仓库迁移中困难的部分之一是对遗留业务逻辑进行现代化改造，例如 SQL 查询、脚本和存储过程。此过程通常涉及大量手动查询重写和验证，这既耗时又容易出错。今天，谷歌云很高兴地宣布批量和交互式 SQL 翻译的公开预览版，它有助于自动化大部分流程，从而加快您成功迁移的道路。批处理和交互式 SQL 翻译提供对遗留对象的快速、语义正确和人类可读的翻译，迁移后没有持续的依赖关系。它支持广泛的 Teradata 工件，包括 DML、DDL 和 BTEQ。可以直接从 BigQuery SQL 工作区以批处理模式或临时模式运行翻译。
Interactive SQL 翻译在 BigQuery SQL 编辑器中提供了一个拆分视图。用户可以输入非 BigQuery 方言的 SQL 查询，并立即查看翻译的 BigQuery SQL。交互式 SQL 翻译为用户提供实时、实时的 SQL 翻译工具，该工具允许用户在进行集中式大规模 SQL 迁移工作的同时进行查询的自助翻译。这不仅减少了分析师迁移查询的时间和精力，而且提高了他们学习利用 BigQuery 现代功能的速度。
数据验证：验证数据的正确性
数据验证是数据仓库迁移项目中的关键步骤。它比较来自源和目标的结构化和半结构化数据，以确认数据和逻辑已正确移动。GCP数据验证工具(DVT) 是一种利用开源框架的开源 CLI 工具。它提供定制的多级验证功能，以在表级别、列级别和行级别比较源表和目标表。它也很灵活，这意味着可以根据需要轻松插入新的验证规则。此外，为了促进自动化、编排和调度，它还可以与 Cloud Functions、Cloud Run 和 Composer 集成以进行重复验证。
根据您的需要自定义 BigQuery Migration Service
借助 BigQuery Migration Service，谷歌云可以快速跟踪、简化迁移并降低迁移风险，以便您可以放心地使用 BigQuery（真正的无服务器和现代数据仓库）对数据仓库进行现代化改造。我们从 Teradata 迁移功能开始，但很快就会增加对其他数据仓库的支持。
谷歌构建了以开放性为首要考虑的端到端工具，您和您选择的迁移合作伙伴可以对其进行自定义，以帮助确保成功迁移。从简化指标收集和公开原始数据集以进行完全自定义的评估到我们的开源数据验证工具，您和您的合作伙伴可以在其中添加自定义验证逻辑，我们致力于为您提供迁移工具，您可以根据自己的独特需求进行自定义。
来源 https://zhuanlan.zhihu.com/p/420229889
相关文章