面试|HiveSQL常用的一些小技巧
SORT_ARRAY
函数声明如下。
ARRAY sort_array(ARRAY<T>)
用途：对给定数组中的数据排序。
参数说明：ARRAY
返回值：ARRAY类型。
示例如下。
--建表
CREATE TABLE sort_array
(
c1 ARRAY<STRING>
,c2 ARRAY<INT>
)
;
--装载数据
INSERT OVERWRITE TABLE sort_array
SELECT array('d','c','b','a') AS c1
,array(4,3,2,1) AS c2
;
--查询
SELECT sort_array(c1)
,sort_array(c2)
FROM sort_array
;
--结果
["a","b","c","d"] [1,2,3,4]
分析函数
基本语法
analytic_function_name([argument_list])
OVER (
[PARTITION BY partition_expression,…]
[ORDER BY sort_expression, … [ASC|DESC]])
analytic_function_name: 函数名称 — 比如 RANK(), SUM(), FIRST()等等 partition_expression: 分区列 sort_expression: 排序列
案例
数据准备
CREATE TABLE `orders_new` (
`order_num` String COMMENT '订单号',
`order_amount` DECIMAL ( 12, 2 ) COMMENT '订单金额',
`advance_amount` DECIMAL ( 12, 2 ) COMMENT '预付款',
`order_date` string COMMENT '订单日期',
`cust_code` string COMMENT '客户',
`agent_code` string COMMENT '代理商'
);
INSERT INTO orders VALUES('200100', '1000.00', '600.00', '2020-08-01', 'C00013', 'A003');
INSERT INTO orders VALUES('200110', '3000.00', '500.00', '2020-04-15', 'C00019', 'A010');
INSERT INTO orders VALUES('200107', '4500.00', '900.00', '2020-08-30', 'C00007', 'A010');
INSERT INTO orders VALUES('200112', '2000.00', '400.00', '2020-05-30', 'C00016', 'A007');
INSERT INTO orders VALUES('200113', '4000.00', '600.00', '2020-06-10', 'C00022', 'A002');
INSERT INTO orders VALUES('200102', '2000.00', '300.00', '2020-05-25', 'C00012', 'A012');
INSERT INTO orders VALUES('200114', '3500.00', '2000.00', '2020-08-15', 'C00002','A008');
INSERT INTO orders VALUES('200122', '2500.00', '400.00', '2020-09-16', 'C00003', 'A004');
INSERT INTO orders VALUES('200118', '500.00', '100.00', '2020-07-20', 'C00023', 'A006');
INSERT INTO orders VALUES('200119', '4000.00', '700.00', '2020-09-16', 'C00007', 'A010');
INSERT INTO orders VALUES('200121', '1500.00', '600.00', '2020-09-23', 'C00008', 'A004');
INSERT INTO orders VALUES('200130', '2500.00', '400.00', '2020-07-30', 'C00025', 'A011');
INSERT INTO orders VALUES('200134', '4200.00', '1800.00', '2020-09-25', 'C00004','A005');
INSERT INTO orders VALUES('200108', '4000.00', '600.00', '2020-02-15', 'C00008', 'A004');
INSERT INTO orders VALUES('200103', '1500.00', '700.00', '2020-05-15', 'C00021', 'A005');
INSERT INTO orders VALUES('200105', '2500.00', '500.00', '2020-07-18', 'C00025', 'A011');
INSERT INTO orders VALUES('200109', '3500.00', '800.00', '2020-07-30', 'C00011', 'A010');
INSERT INTO orders VALUES('200101', '3000.00', '1000.00', '2020-07-15', 'C00001','A008');
INSERT INTO orders VALUES('200111', '1000.00', '300.00', '2020-07-10', 'C00020', 'A008');
INSERT INTO orders VALUES('200104', '1500.00', '500.00', '2020-03-13', 'C00006', 'A004');
INSERT INTO orders VALUES('200106', '2500.00', '700.00', '2020-04-20', 'C00005', 'A002');
INSERT INTO orders VALUES('200125', '2000.00', '600.00', '2020-10-01', 'C00018', 'A005');
INSERT INTO orders VALUES('200117', '800.00', '200.00', '2020-10-20', 'C00014', 'A001');
INSERT INTO orders VALUES('200123', '500.00', '100.00', '2020-09-16', 'C00022', 'A002');
INSERT INTO orders VALUES('200120', '500.00', '100.00', '2020-07-20', 'C00009', 'A002');
INSERT INTO orders VALUES('200116', '500.00', '100.00', '2020-07-13', 'C00010', 'A009');
INSERT INTO orders VALUES('200124', '500.00', '100.00', '2020-06-20', 'C00017', 'A007');
INSERT INTO orders VALUES('200126', '500.00', '100.00', '2020-06-24', 'C00022', 'A002');
INSERT INTO orders VALUES('200129', '2500.00', '500.00', '2020-07-20', 'C00024', 'A006');
INSERT INTO orders VALUES('200127', '2500.00', '400.00', '2020-07-20', 'C00015', 'A003');
INSERT INTO orders VALUES('200128', '3500.00', '1500.00', '2020-07-20', 'C00009','A002');
INSERT INTO orders VALUES('200135', '2000.00', '800.00', '2020-09-16', 'C00007', 'A010');
INSERT INTO orders VALUES('200131', '900.00', '150.00', '2020-08-26', 'C00012', 'A012');
INSERT INTO orders VALUES('200133', '1200.00', '400.00', '2020-06-29', 'C00009', 'A002');
排序累加
SELECT
agent_code,
order_date,
order_amount,
SUM( order_amount ) OVER ( PARTITION BY agent_code ORDER BY order_date desc rows BETWEEN unbounded preceding AND current row ) total_rev
FROM
orders_new
WHERE
order_date >= '2020-07-01'
AND order_date <= '2020-09-30';
结果
A002 2020-09-16 500.00 500.00
A002 2020-07-20 3500.00 4000.00
A002 2020-07-20 500.00 4500.00
A003 2020-08-01 1000.00 1000.00
A003 2020-07-20 2500.00 3500.00
A004 2020-09-23 1500.00 1500.00
A004 2020-09-16 2500.00 4000.00
A005 2020-09-25 4200.00 4200.00
A006 2020-07-20 2500.00 2500.00
A006 2020-07-20 500.00 3000.00
A008 2020-08-15 3500.00 3500.00
A008 2020-07-15 3000.00 6500.00
A008 2020-07-10 1000.00 7500.00
A009 2020-07-13 500.00 500.00
A010 2020-09-16 2000.00 2000.00
A010 2020-09-16 4000.00 6000.00
A010 2020-08-30 4500.00 10500.00
A010 2020-07-30 3500.00 14000.00
A011 2020-07-30 2500.00 2500.00
A011 2020-07-18 2500.00 5000.00
A012 2020-08-26 900.00 900.00
AVG() 和SUM()
需求描述：
第三季度每个代理商的移动平均收入和总收入
SELECT
agent_code,
order_date,
AVG( order_amount ) OVER ( PARTITION BY agent_code ORDER BY order_date) avg_rev,
SUM( order_amount ) OVER ( PARTITION BY agent_code ORDER BY order_date ) total_rev
FROM
orders
WHERE
order_date >= '2020-07-01'
AND order_date <= '2020-09-30';
结果输出
A002 2020-07-20 2000 4000
A002 2020-07-20 2000 4000
A002 2020-09-16 1500 4500
A003 2020-07-20 2500 2500
A003 2020-08-01 1750 3500
A004 2020-09-16 2500 2500
A004 2020-09-23 2000 4000
A005 2020-09-25 4200 4200
A006 2020-07-20 1500 3000
A006 2020-07-20 1500 3000
A008 2020-07-10 1000 1000
A008 2020-07-15 2000 4000
A008 2020-08-15 2500 7500
A009 2020-07-13 500 500
A010 2020-07-30 3500 3500
A010 2020-08-30 4000 8000
A010 2020-09-16 3500 14000
A010 2020-09-16 3500 14000
A011 2020-07-18 2500 2500
A011 2020-07-30 2500 5000
A012 2020-08-26 900 900
FIRST_VALUE()和 LAST_VALUE()
first_value: 取分组内排序后，截止到当前行，个值 last_value: 取分组内排序后，截止到当前行，后一个值
需求描述
客户购买后多少天才进行下一次购买
SELECT
cust_code,
order_date,
datediff(order_date,FIRST_VALUE ( order_date ) OVER ( PARTITION BY cust_code ORDER BY order_date )) next_order_gap
FROM
orders
order by cust_code,next_order_gap
结果输出
C00001 2020-07-15 0
C00002 2020-08-15 0
C00003 2020-09-16 0
C00004 2020-09-25 0
C00005 2020-04-20 0
C00006 2020-03-13 0
C00007 2020-08-30 0
C00007 2020-09-16 17
C00007 2020-09-16 17
C00008 2020-02-15 0
C00008 2020-09-23 221
C00009 2020-06-29 0
C00009 2020-07-20 21
C00009 2020-07-20 21
C00010 2020-07-13 0
C00011 2020-07-30 0
C00012 2020-05-25 0
C00012 2020-08-26 93
C00013 2020-08-01 0
C00014 2020-10-20 0
C00015 2020-07-20 0
C00016 2020-05-30 0
C00017 2020-06-20 0
C00018 2020-10-01 0
C00019 2020-04-15 0
C00020 2020-07-10 0
C00021 2020-05-15 0
C00022 2020-06-10 0
C00022 2020-06-24 14
C00022 2020-09-16 98
C00023 2020-07-20 0
C00024 2020-07-20 0
C00025 2020-07-18 0
C00025 2020-07-30 12
LEAD() 和 LAG()
lead(value_expr[,offset[,default]])：用于统计窗口内往下第n行值。个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL lag(value_expr[,offset[,default]]): 与lead相反，用于统计窗口内往上第n行值。个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）
需求描述
代理商近一次出售的高订单金额是多少？
SELECT
agent_code,
order_amount,
LAG ( order_amount, 1 ) OVER ( PARTITION BY agent_code ORDER BY order_amount DESC ) last_highest_amount
FROM
orders
ORDER BY
agent_code,
order_amount DESC;
结果输出
A001 800 NULL
A002 4000 NULL
A002 3500 4000
A002 2500 3500
A002 1200 2500
A002 500 1200
A002 500 500
A002 500 500
A003 2500 NULL
A003 1000 2500
A004 4000 NULL
A004 2500 4000
A004 1500 2500
A004 1500 1500
A005 4200 NULL
A005 2000 4200
A005 1500 2000
A006 2500 NULL
A006 500 2500
A007 2000 NULL
A007 500 2000
A008 3500 NULL
A008 3000 3500
A008 1000 3000
A009 500 NULL
A010 4500 NULL
A010 4000 4500
A010 3500 4000
A010 3000 3500
A010 2000 3000
A011 2500 NULL
A011 2500 2500
A012 2000 NULL
A012 900 2000
RANK() 和DENSE_RANK()
**rank：**对组中的数据进行排名，如果名次相同，则排名也相同，但是下一个名次的排名序号会出现不连续。比如查找具体条件的topN行。RANK() 排序为 (1,2,2,4)
**dense_rank:**dense_rank函数的功能与rank函数类似，dense_rank函数在生成序号时是连续的，而rank函数生成的序号有可能不连续。当出现名次相同时，则排名序号也相同。而下一个排名的序号与上一个排名序号是连续的。
DENSE_RANK() 排序为 (1,2,2,3)
需求描述
每月第二高的订单金额是多少？
SELECT
order_num,
order_date,
order_amount,
order_month
FROM
(
SELECT
order_num,
order_date,
order_amount,
DATE_FORMAT( order_date, 'YYYY-MM' ) AS order_month,
DENSE_RANK ( ) OVER ( PARTITION BY DATE_FORMAT( order_date, 'YYYY-MM' ) ORDER BY order_amount DESC ) order_rank
FROM
orders
) t
WHERE
order_rank = 2
ORDER BY
order_date;
结果输出
200106 2020-04-20 2500 2020-04
200103 2020-05-15 1500 2020-05
200133 2020-06-29 1200 2020-06
200101 2020-07-15 3000 2020-07
200114 2020-08-15 3500 2020-08
200119 2020-09-16 4000 2020-09
200117 2020-10-20 800 2020-10
REGEXP_EXTRACT
命令格式
string regexp_extract(string <source>, string <pattern>[, bigint <occurrence>])命令说明
将字符串source按照pattern的规则拆分为组，返回第occurrence个组的字符串。
参数说明
source：必填。STRING类型，待拆分的字符串。 pattern：必填。STRING类型常量或正则表达式。待匹配的模型。 occurrence：可选。BIGINT类型常量，必须大于等于0。 返回值说明
返回STRING类型。返回规则如下：
如果pattern为空串或pattern中没有分组，返回报错。 occurrence非BIGINT类型或小于0时，返回报错。不指定时默认为1，表示返回个组。如果occurrence等于0，则返回满足整个pattern的子串。 source、pattern或occurrence值为NULL时，返回NULL。 示例
select regexp_extract('foothebar', '(foo)(.*?)(bar)', ); --返回foothebar
select regexp_extract('foothebar', '(foo)(.*?)(bar)', 1); --返回foo
select regexp_extract('foothebar', '(foo)(.*?)(bar)', 2); --返回the
select regexp_extract('foothebar', '(foo)(.*?)(bar)', 3); --返回bar
多行数据合并为一行数据
WM_CONCAT
命令格式
string wm_concat(string <separator>, string <colname>)命令说明
用指定的separator做分隔符，连接colname中的值。
参数说明
separator：必填。STRING类型常量，分隔符。 colname：必填。STRING类型。如果输入为BIGINT、DOUBLE或DATETIME类型，会隐式转换为STRING类型后参与运算。 返回值说明
返回STRING类型。返回规则如下：
separator非STRING类型常量时，返回报错。 colname非STRING、BIGINT、DOUBLE或DATETIME类型时，返回报错。 colname值为NULL时，该行不会参与计算。 示例
--建表
CREATE TABLE stu
(
class STRING
,gender STRING
,name STRING
)
;
--装载数据
INSERT INTO TABLE stu SELECT '1','M','lilei';
INSERT INTO TABLE stu SELECT '1','F','hanmeimei';
INSERT INTO TABLE stu SELECT '1','M','jim';
INSERT INTO TABLE stu SELECT '1','M','hanmeimei';
INSERT INTO TABLE stu SELECT '2','F','tom';
INSERT INTO TABLE stu SELECT '2','M','peter';
--查询
SELECT class, wm_concat(distinct ',', name) FROM stu GROUP BY class;
KEYVALUE
命令格式
keyvalue(string <str>,[string <split1>,string <split2>,] string <key>)
keyvalue(string <str>,string <key>)命令说明
将字符串str按照split1分成Key-Value对，并按split2将Key-Value对分开，返回key所对应的Value。
参数说明
“
即默认的分隔符是**;,KV之间的分割是：**
key：必填。STRING类型。将字符串按照split1和split2拆分后，返回key值对应的Value。 str：必填。STRING类型。待拆分的字符串。 split1、split2：可选。STRING类型。用于作为分隔符的字符串，按照指定的两个分隔符拆分源字符串。如果表达式中没有指定这两项，默认split1为 ";"，split2为":"。当某个被split1拆分后的字符串中有多个split2时，返回结果未定义。返回值说明
返回STRING类型。返回规则如下：
split1或split2值为NULL时，返回NULL。 str或key值为NULL或没有匹配的key时，返回NULL。 如果有多个Key-Value匹配，返回个匹配上的key对应的Value。
select keyvalue('0:1\;1:2', 1); --返回2
select keyvalue('spm=123.qwe,cpn=101,act=890',',','=','spm') ----返回123.qwe
优化相关
distribute by+sort by V.S order by
order by将结果按某字段全局排序，这会导致所有map端数据都进入一个reducer中，在数据量大时可能会长时间计算不完 distribute by用于控制map端数据分配到reducer的key，sort by会视情况启动多个reducer进行排序，并且保证每个reducer内局部有序
group by V.S count(distinct)
当数据量级很大，用group by ，可以启动多个job 数据集很小或者key的倾斜比较明显时，用count(distinct)，少量的reduce就可以处理
map join
Hive会将build table和probe table在map端直接完成join过程，消灭了reduce，效率很高 set hive.auto.convent.join=true; /*+MAPJOIN(t1,t3,t4)*/
原文链接：https://mp.weixin.qq.com/s/Rwts-SKtd4roNyRywf2e5w
相关文章