Snowflake VS BigQuery — 两个云数据仓库的对比

2022-04-02 00:00:00 数据 公司 计算 性能 数据仓库

现在,各种新型数据仓库解决方案层出不穷,想跟上的难度越来越大。

选择佳数据仓库,满足运营需求及目标,是业务战略的重要组成部分。不幸的是,许多公司仍然受困于做出决策。

除此之外,将数据仓库投入实施可能也会很困难。但是,一旦完成了数据仓库的开发,丰厚的投资回报可能会随之而来,同时,你也会更加了解数据。

Snowflake 和 Google BigQuery 是成熟、强大的云数据仓库巨头,数千家公司的使用反馈都非常好。但哪一个平台更适合你呢?

这个问题很难直接回答,但我们可以比较一下两者。

# 云数据仓库(Cloud Data Warehouse)介绍 #

对于那些不熟悉数据仓库是什么的人,我们在这里快速介绍一下。

数据仓库自20世纪80 年代就已经存在了。从那时起,数据仓库的概念发生了巨大的变化和演变。商界出现了越来越多的挑战,环境也变得愈发复杂,在这样的背景下,数据仓库转变为一门独立学科,从而出现了更高超的技术和更严格的商业惯例。

初,数据仓库是帮助公司维护可访问的分析数据源,以便回答商业问题。到现在为止,这一点仍然非常重要。然而,越来越多的终端用户想要以更加简便的方式,大规模访问公司信息,进而进行数据报告和分析。

此外,云端仓库的用户已经从专业开发人员大规模扩展至任何会使用 Tableau 或 Power-BI 的人。

数据仓库收集和存储来自不同来源(包括公司内部和外部来源)的各种信息。这些仓库会收集经过处理的原始数据,以便为你的业务查询快速提供答案,帮助你在预测和预算方面做出明智的决策。

通过收集公司各个方面的数据—从人力资源(HR)、到销售、再到营销,数据仓库减少了人工分析处理的工作量。Snowflake 和 BigQuery 就是企业级数据仓库的两个典型示例,这两个数据仓库非常强大,适用于任何规模的公司。

现如今,几乎所有大中型企业都有某种形式的数据仓库。专家估计,不到五年,数据仓库的市场需求还将翻番,产业价值将增至 300 亿美元。

如果你的公司准备投资数据仓库,或需要在当前供应商的基础上进行升级,那么你需要找到佳和具成本效益的服务来满足你的需求。

# BigQuery 背景介绍 #

谷歌旗下的BigQuery,是一个完全托管式、具有高度扩展性的无服务器数据仓库,特点是执行快速、反应敏捷,同时具备机器学习能力。

该平台发布于 2011 年底。无服务器架构让它能够大规模并快速执行任务,以惊人的速度跨大型数据库,提供 SQL 分析。

但BigQuery确实存在一些小问题,比如要用他们的 SQL 版本,不过他们近修复了这个问题。

此外,BigQuery还多次进行了功能升级、性能增强,并且提高了协议安全性,增强了可靠性,这些操作让它在整体上更易于操作,更容易收集更深层次的见解。

# Snowflake背景介绍 #

Snowflake成立于2012年,两年后正式上线。Snowflake是一家基于云计算的数据仓库公司,总部位于蒙大拿州博兹曼(Bozeman,Montana)。因为创始人对冬季运动的热爱,所以将公司命名为Snowflake。

Snowflake 帮助企业使用存储在云中的硬件和软件,从而存储和分析公司数据。自2014年起,Snowflake可在Amazon S3上运行;自2018年起,可在Microsoft Azure上运行;自2019年起,可在Google上运行。公司通过完善和构建基于云的数据平台,被誉为数据仓库行业的复兴。

这就是Snowflake的独特之处。实际上,Snowflake更像是 AWS 或其他云服务的转售商,它在其他云服务上开发了“云优先”数据仓库(所以,谷歌无论如何都是盈利的)

# Snowflake VS. BigQuery #

Snowflake 与 BigQuery 之间的主要区别包括:

性能:独立的第三方进行的研究表明,Snowflake 的性能明显优于 BigQuery。然而,这种评估并不全面。在某些情况下,BigQuery 的性能优于 Snowflake。

事实上,很多性能取决于你是如何设计数据的。如果你是要对数十亿行数据进行查询,那么你就得吃点苦头了。这种查询要么很贵,要么很慢。

易用性:Snowflake 和 BigQuery 在易用性方面的得分都很高;不过,我个人认为Snowflake 更简单。

Snowflake的用户界面非常简洁,功能也很出色,提高了分析师和数据工程师的易用性。

安全性:Snowflake 和 BigQuery 都具有强大的安全特性,可保护敏感数据的完整性和机密性。此外,它们都完全符合所有行业特定标准。

# 体系架构 #

BigQuery 没有服务器,使用了大规模并行处理 (MPP) 的架构,因此不存在设置或配置问题,能独立执行存储和计算任务,增强查询功能。

Snowflake 建立在具有多集群共享数据架构(Multicluster Shared Data Architecture)结构的混合架构上,独立运行计算、数据存储和客户端服务,运行速度更快,性能更好,多个用户可并发工作负载。Snowflake 的存储架构可运行结构化和半结构化数据。

# 可扩展性 #

数据库的可扩展性能支持你数据库的横向或纵向扩展,能在不影响性能的情况下储存更多数据。

随着数据量不断增长或查询更加复杂,Snowflake 和 Bigquery 都提供了扩展方面的选项。使用 Snowflake,用户可根据需要扩大或缩小规模,并支付实际使用的资源。另一方面,BigQuery 是“无服务器”的,可以独立扩展,而且所有扩展问题都可自动处理。

这使得 BigQuery 非常灵活。BigQuery可以快速且无缝扩展值任意大小,同时具备高效益。你只需支付实际使用的资源,而非合同中列出的特定资源。

# 性能 #

另外一个重要的比较方面是性能。Snowflake 和 BigQuery 要如何实现叠加?

在 2019 年的一系列测试中,技术博主发现,通过比较多项指标,Snowflake 解决方案的表现始终优于 BigQuery。

测试使用了行业认可的标准 TPC-DS 数据集,该数据集被认为是虚拟电子商务数据的“通用决策支持系统”,全程共对30 TB的数据集进行了 103 次测试 。

Snowflake 在 5,793 秒内完成了所有查询,而 BigQuery 用了 37,283 秒。

当然,这并不意味着Snowflake在所有情况下都更快。例如,BigQuery 在涉及查找性能佳和性能差的项目(以净利润衡量)的查询上就优于 Snowflake。

Snowflake 和 BigQuery 当前处于不活跃状态,并且在持续开发中,会定期添加新功能,增强其性能。这两个平台的当前和新发展,可能会改变未来哪个数据仓库的性能更好的计算方式。

# 成本 #

成本是许多公司会认真考虑的问题。尽管你不应该为了成本而牺牲性能,但有时你可能不得不选择更便宜的选项。

定价模型(Pricing Model):当涉及到云计算时,公司往往很难定价,因为云计算通常涉及存储、计算等。下面是当前 Snowflake 与 BigQuery 的定价明细。

# 哪个平台更适合你?#

Snowflake 和 BigQuery 数据仓库的解决方案中功能都非常丰富,到现在为止已帮助各类型和规模的企业改进其 BI 和分析工作流。

尽管在存储方面, BigQuery 可能比 Snowflake 便宜,但 BigQuery 的计算定价模型本质上非常复杂,同时,和 Snowflake 采用的时间模型有很大区别。此外,Snowflake 的性能通常优于 BigQuery。

终,决定权还是在你手里。你需要根据具体情况选择适合自己公司的解决方案。

  • 更多高质量科技类原创文章,请访问数据应用学院官网Blog:https://www.dataapplab.com/
  • 参加数据应用学院线上免费公开课:https://www.dataapplab.com/event/
  • 查看数据应用学院往期课程视频:
  • https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ
  • 来源 
  • https://zhuanlan.zhihu.com/p/435522256

相关文章