使用 Amazon Redshift 通过配额机制监控及控制 schema 存储空间

Original URL：https://aws.amazon.com/cn/blogs/big-data/monitor-and-control-the-storage-space-of-a-schema-with-quotas-with-amazon-redshift/

Yelp的使命，是将人们与当地的企业联系起来。自2004年成立以来，Yelp已经从仅为总部所在地旧金山提供服务，发展成为一家覆盖30多个国家/地区大都市区域的跨国企业。凭借着基于高效广告与交易的商业模式，该公司在2015年获得超过5亿美元收入，较上一年增长了46%。Yelp已经发展成为一家以移动设备为中心的公司，其搜索量占比超过70%，来自移动端的内容占比亦超过58%。

Yelp公司使用Amazon Redshift分析移动应用的使用情况与客户群组数据，并据此整理广告竞拍与宣传指标。而随着Amazon Redshift全新schema存储配额功能的推出，Yelp公司的业务也得到显著收益。

Yelp公司Metrics平台（这套平台专门为Yelp工程技术团队提供长期持久数据存储与SQL查询功能）首席工程师Steven Moy表示，“Amazon Redshift是一项托管数据仓库服务，帮助Yelp专注于数据分析本身，而无需耗费时间管理数据库运营。我们在数据仓库用户快速迭代中采取的一项关键策略，就是建立起一种名为「tmp」的可写Schema，供用户对各种表模式进行原型设计。但有时候，我们也会面临查询执行过程中没有足够可用空间所带来的挑战，这会严重影响到整体数据仓库查询操作的性能。借助新的schema配额功能，我们可以在「tmp」架构上设置存储配额上限，借此保护存储失控问题。我们也期待将Amazon Redshift提供的所有自治功能陆续引入Yelp业务体系。”

目前，越来越多的组织开始转向自助服务分析，即由不同的职能角色针对持续变化的数据量、类型与速度建立起自己的见解，借此跟上业务的快速发展步伐。这种数据大众化趋势的全面实现，又对数据治理、成本控制以及数据管理能力提出了更高的要求。在这一领域，控制不同职能角色的存储配额，已经成为数据治理与数据存储操作中的重大挑战。在本文中，我们将展示如何通过不同的角色设置Amazon Redshift存储配额。

先决条件

在开始本轮演练之前，大家需要满足以下先决条件：

• 拥有一套Amazon Redshift集群。这里推荐使用美国东部（北弗吉尼亚）区域，因为我们需要从 us-east-1中的Amazon Simple Storage Service（Amazon S3）中加载数据。
• 一个拥有超级用户权限的数据库用户。

设置并测试schema配额

要配置环境并测试用例，我们需要完成以下操作步骤：

• 使用您的客户端，以超级用户或者具备CREATE SCHEMA权限的用户身份接入Amazon Redshift集群。
• 使用以下代码创建sales用户：

• CREATE USER sales WITH password 'Abcd1234!';

以上代码中的用户仅用于本演练目的。大家应该在AWS身份与访问管理（AWS Identity and Access Management，简称IAM）中使用身份联动机制使用企业用户，而非像本示例中这样手动创建新用户。关于更多详细信息，请参阅身份验证说明。

• 使用CREATE SCHEMA设置一项schema配额。详见以下操作代码：

• CREATE SCHEMA [ IF NOT EXISTS ] schema_name [ AUTHORIZATION username ] 
             [ QUOTA {quota [MB | GB | TB] | UNLIMITED} ] [ schema_element [ ... ] 
   
  CREATE SCHEMA AUTHORIZATION username[ QUOTA {quota [MB | GB | TB] | UNLIMITED} ] [ schema_element [ ... ] ]

其中的QUOTA参数用于定义schema所能使用的大磁盘空间量。

• 创建schema sales_schema，并为sales用户指定2 GB配额。详见以下操作代码：

• CREATE SCHEMA sales_schema AUTHORIZATION sales QUOTA 2 GB;

• 使用以下代码模拟sales用户：

• SET SESSION AUTHORIZATION 'sales';
  SELECT CURRENT_USER;

• 使用以下代码创建表region与lineitem：

• CREATE TABLE sales_schema.region (
    r_regionkey int4,
    r_name char(25),
    r_comment varchar(152)                            
  ) DISTSTYLE EVEN;
   
  CREATE TABLE sales_schema.lineitem (
    l_orderkey int8,
    l_partkey int8,
    l_suppkey int4,
    l_linenumber int4,
    l_quantity numeric(12,2),
    l_extendedprice numeric(12,2),
    l_discount numeric(12,2),
    l_tax numeric(12,2),
    l_returnflag char(1),
    l_linestatus char(1),
    l_shipdate date,
    l_commitdate date,
    l_receiptdate date,
    l_shipinstruct char(25),
    l_shipmode char(10),
    l_comment varchar(44)
  ) DISTSTYLE EVEN;

单语句事务

要对单语句事务用例进行测试，请完成以下操作步骤：

• 使用以下代码将数据加载至region表中：

• COPY sales_schema.region FROM 's3://redshift-downloads/TPC-H/10GB/region/' iam_role '<Your-IAM-Role>' gzip delimiter '|' region 'us-east-1';

 <Your-IAM-Role> 代表的是您IAM角色的ARN，其中包含与Amazon Redshift集群相关的所有必要权限。

COPY命令应在加载五行之后完成，详见以下代码：

dev=> COPY sales_schema.region FROM 's3://redshift-downloads/TPC-H/10GB/region/' iam_role '<Your-IAM-Role>' gzip delimiter '|' region 'us-east-1';
INFO:  Load into table 'region' completed, 5 record(s) loaded successfully.

• 通过系统视图svv_schema_quota_state检查schema的配额与磁盘使用情况，详见以下代码：

• SELECT TRIM(SCHEMA_NAME) "schema_name", QUOTA, disk_usage, disk_usage_pct FROM svv_schema_quota_state WHERE SCHEMA_NAME = 'sales_schema';

此语句应在演练中使用的四节点DC2.large集群之上显示2048 GB磁盘容量配额，当前使用量为30 MB。磁盘使用量会随实例类型与节点数量的不同而有所变化，具体请参阅以下代码：

dev=> SELECT TRIM(SCHEMA_NAME) "schema_name", QUOTA, disk_usage, disk_usage_pct FROM svv_schema_quota_state WHERE SCHEMA_NAME = 'sales_schema';
 schema_name  | quota | disk_usage | disk_usage_pct 
--------------+-------+------------+----------------
 sales_schema |  2048 |         30 |           1.46
(1 row)

• 使用以下代码将数据加载至表lineitem当中：

• COPY sales_schema.lineitem FROM 's3://redshift-downloads/TPC-H/10GB/lineitem/' iam_role '<Your-IAM-Role>' gzip delimiter '|' region 'us-east-1';

这时我们会收到一条错误消息，表示事务由于超出磁盘空间配额而中止。具体参见以下代码：

dev=> COPY sales_schema.lineitem FROM 's3://redshift-downloads/TPC-H/10GB/lineitem/' iam_role '<Your-IAM-Role>' gzip delimiter '|' region 'us-east-1';
INFO:  Load into table 'lineitem' completed, 59986052 record(s) loaded successfully.
ERROR:  Transaction 40895 is aborted due to exceeding the disk space quota in schema(s): (Schema: sales_schema, Quota: 2048, Current Disk Usage: 2798).
Free up disk space or request increased quota for the schema(s).

在提交事务之前，Amazon Redshift会首先检查每项事务是否与配额定义相冲突。但配额冲突检查发生在事务末尾处，因此在提交之前，事务中的存储空间使用量可能会暂时超过配额。正因为如此，我们才会先看到已经成功加载表lineitem的提示消息。当事务超出配额时，Amazon Redshift会中止该事务、禁止后续加载并还原所有变更，直到释放出足够的磁盘空间为止。

配额冲突信息则被保存在系统表stl_schema_quota_violations当中。

• 运行以下代码以查看冲突信息：

• SELECT userid, TRIM(SCHEMA_NAME) "schema_name", quota, disk_usage, disk_usage_pct, timestamp FROM stl_schema_quota_violations WHERE SCHEMA_NAME = 'sales_schema' ORDER BY timestamp DESC;

这里应该显示出当前配额、磁盘使用量、超出已配置配额的磁盘使用率百分比以及发生冲突时的时间戳。具体请参阅以下代码：

dev=> SELECT userid, TRIM(SCHEMA_NAME) "schema_name", quota, disk_usage, disk_usage_pct, timestamp FROM stl_schema_quota_violations WHERE SCHEMA_NAME = 'sales_schema' ORDER BY timestamp DESC;
 userid | schema_name  | quota | disk_usage | disk_usage_pct |         timestamp          
--------+--------------+-------+------------+----------------+----------------------------
    104 | sales_schema |  2048 |       2798 |         136.62 | 2020-04-20 20:09:25.494723
(1 row)

• 使用ALTER SCHEMA将schema配额调整为4 GB。详见以下代码：

• RESET SESSION AUTHORIZATION; 
  ALTER SCHEMA sales_schema QUOTA 4 GB;
  SET SESSION AUTHORIZATION 'sales';
  SELECT CURRENT_USER;