我怎样才能把字符串拆分成令牌呢？

问题描述

如果我有字符串

'x+13.5*10x-4e1'

如何将其拆分为以下令牌列表？

['x', '+', '13', '.', '5', '*', '10', 'x', '-', '4', 'e', '1']

我当前使用的是shlex模块：

str = 'x+13.5*10x-4e1'
lexer = shlex.shlex(str)
tokenList = []
for token in lexer:
    tokenList.append(str(token))
return tokenList

但这将返回：

['x', '+', '13', '.', '5', '*', '10x', '-', '4e1']

所以我试着把字母和数字分开。我正在考虑同时包含字母和数字的字符串，然后以某种方式将它们拆分，但不确定如何做到这一点，或者之后如何将它们与其他字符串一起重新添加到列表中。重要的是令牌保持有序，我不能有嵌套列表。

在理想情况下，e和E不会以相同的方式识别为字母，因此

'-4e1'

将变为

['-', '4e1']

但是

'-4x1'

将变为

['-', '4', 'x', '1']

有人能帮忙吗？

---

解决方案

使用正则表达式模块的split()函数，在

拆分

• 'd+'--数字(数字字符)和
• 'W+'--非文字字符：

代码：

import re

print([i for i in re.split(r'(d+|W+)', 'x+13.5*10x-4e1') if i])

输出：

['x', '+', '13', '.', '5', '*', '10', 'x', '-', '4', 'e', '1']

如果您不想分隔点(作为表达式中的浮点数)，则应使用以下命令：

• [d.]+--数字或点字符(尽管这允许您编写：13.5.5

代码：

print([i for i in re.split(r'([d.]+|W+)', 'x+13.5*10x-4e1') if i])

输出：

['x', '+', '13.5', '*', '10', 'x', '-', '4', 'e', '1']