Hive中常用正则表达式的运用小结
在实际的应用中,通常需要在一些复杂的、没有规律的字符串中提取数据,这时候就需要用到正则表达式了,这次讲一下Hive的正则表达式。
like
语法:A like B
说明:如果字符串A符合表达式B的正则语法,则为true,否则为flase。B中字符"_"表示任意单个字符,而字符"%"表示任意数量的字符。
例子:select 'AA123' like 'AA%';
结果:true
例子:select 'AAbbbbcccc' like '_A%';
结果:true
rlike
语法:A rlike B
说明:如果字符串A符合JAVA正则表达式B的正则语法,则为TRUE,否则为FALSE。
例子:select 'AAbbbbcccc' rlike 'AA';
结果:true
regexp
语法: A REGEXP B
说明:用法和rike一样
例子:select 'AAbbbbcccc' regexp 'AA';
结果:true
regexp_replace
语法: regexp_replace(string A, string B, string C)
说明:将字符串A中的符合java正则表达式B的部分替换为C
例子:select regexp_replace('AA123bbcccc' ,'123','o');
结果:AAobbcccc
regexp_extract
语法: regexp_extract(string A, string pattern, int index)
说明:将字符串A按照pattern正则表达式的规则拆分,返回index指定的字符,index从1开始计。
- 0是显示与之匹配的整个字符串
- 1 是显示第一个括号里面的
- 2 是显示第二个括号里面的字段
- 3,4,5.....依次类推
例子:select regexp_extract('AA123bbcccc' ,'A{2}([1-9]{3})([a-z]{6})',0);
结果:AA123bbcccc
例子:select regexp_extract('AA123bbcccc' ,'A{2}([1-9]{3})([a-z]{6})',2);
结果:bbcccc
基础语法 "^([]{})([]{})([]{})$"
正则字符串 = "开始([包含内容]{长度})([包含内容]{长度})([包含内容]{长度})结束"
常用元字符的使用:
元字符 | 描述 |
\ | 转义字符。例如,“\n”代表换行符,如果想表示"\n"这个字符串,需要使用"\\n"来表示,也就是说"\\"代表字符"\" |
^ | 匹配输入字行首。"^a"代表以a开头的任意字符串 |
$ | 匹配输入行尾。"a$"代表以a结尾的任意字符串 |
* | 匹配前面的子表达式0次或多次。例如,ab*能匹配a,ab,abb,abbbb等等,等价于{0,} |
+ | 匹配前面的子表达式一次或多次(大于等于1次)。例如,“ab+”能 匹配ab,abb,abbbb等等。等价于{1,} |
? | 匹配前面的子表达式零次或一次。例如,“ab?”可以匹配ab,abb,等价于{0,1}。当该字符紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少地匹配所搜索的字符串,而默认的贪婪模式则尽可能多地匹配所搜索的字符串。例如,对于字符串“oooo”,“o+”将尽可能多地匹配“o”,得到结果[“oooo”],而“o+?”将尽可能少地匹配“o”,得到结果 ['o', 'o', 'o', 'o'],等价于{0,1} |
{n} | n是一个非负整数。匹配确定的n次。例如,“a{2}”不能匹配到aa。 |
{n,} | n是一个非负整数。至少匹配n次。例如,“a{2,}”能匹配“aa,aaa等等。“a{1,}”等价于“a+”,“a{0,}”则等价于“a*”。 |
{n,m} | m和n均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,“a{1,3}”将匹配“aoooood”中的前三个o为一组,后三个o为一组。“a{0,1}”等价于“a?”。请注意在逗号和两个数之间不能有空格。 |
. | 匹配除“\n”和"\r"之外的任何单个字符。要匹配包括“\n”和"\r"在内的任何字符,请使用像“[\s\S]”的模式。 |
_ | 匹配任意单个字符,例如:_a 能匹配到任何第二个字符为a的,如aa,ba等等 |
x|y | 匹配x或y。例如,“z|food”能匹配“z”或“food”。 “[z|f]ood”则匹配“zood”或“food”。 |
[xyz] | 字符集合,匹配所包含的任意一个字符。 例如,“[abc]”可以匹配“plain”中的“a”。 |
[^xyz] | 负值字符集合。匹配未包含的任意字符。例如“[^abc]”可以匹配“plain”中的“plin”任一字符。 |
[a-z] | 字符范围,匹配指定范围内的任意字符。例如,“[a-z]”可以匹配 “a”到“z”范围内的任意小写字母字符。注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身. |
[^a-z] | 负值字符范围。匹配任何不在指定范围内的任意字符。例如,“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。 |
\d | 匹配一个数字字符。等价于[0-9]。 |
\D | 匹配一个非数字字符。等价于[^0-9]。 |
\n | 匹配一个换行符。 |
\r | 匹配一个回车符。 |
\s | 匹配任何不可见字符,包括空格、制表符、换页符等等。 等价于[ \f\n\r\t\v]。 |
\S | 匹配任何可见字符。等价于[^\f\n\r\t\v]。 |
\t | 匹配一个制表符。 |
\v | 匹配一个垂直制表符。 |
\w | 匹配包括下划线的任何单词字符。类似但不等价于“[A-Za-z0-9_]”, 这里的"单词"字符使用Unicode字符集。 |
\W | 匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。 |
( ) | 将( 和 ) 之间的表达式定义为“组”(group),并且将匹配这个表达式的字符保存到一个临时区域(一个正则表达式中最多可以保存9个),它们可以用 \1 到\9 的符号来引用。 |
其他
汉字:[\u4e00-\u9fa5]
身份证号(15位、18位数字),最后一位是校验位,可能为数字或字符X:(^\d{15}$)|(^\d{18}$)|(^\d{17}(\d|X|x)$)
日期格式:^\d{4}-\d{1,2}-\d{1,2}
两位小数正数:[0-9]+(.[0-9]{2})
26个英文字母组成的字符串:[A-Za-z]+
数字和26个英文字母组成的字符串:[A-Za-z0-9]
Email地址:w+[-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*$
手机号码:^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$
到此这篇关于Hive中常用正则表达式的运用的文章就介绍到这了,更多相关Hive正则表达式运用内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
相关文章