Ufeff标识符中的无效字符

问题描述

我有以下代码：

import urllib.request

try:
    url = "https://www.google.com/search?q=test"

    headers = {}
    usag = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0'
    headers['User-Agent'] = usag.encode('utf-8-sig')
    req = urllib.request.Request(url, headers=headers)
    resp = urllib.request.urlopen(req)
    respData = resp.read()

    saveFile = open('withHeaders.txt','w')
    saveFile.write(str(respData))
    saveFile.close()

except Exception as e:
    print(str(e))

它显示以下错误：

D:virtualenvsamplesurllibb>python 1.py
  File "1.py", line 35
    usag = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0'ufeff
                                                                                              ^
 SyntaxError: invalid character in identifier

我看不到代码中的ufeff。

---

解决方案

ufeff是ZERO WIDTH NO-BREAK SPACE codepoint；打印时不呈现。它在UTF-16和UTF-32中用作byte order mark，用于记录编码字节的解码顺序(大端或小端)。

UTF-8不需要BOM(它只有一个固定的字节顺序，不需要跟踪替代的)，但微软认为它是一个方便的签名字符，供他们的工具检测UTF-8文件与8位编码(如大多数Windows代码页使用的编码)。

我怀疑您正在使用Microsoft文本编辑器(如记事本)保存代码。不要这样做，它会包含BOM，但Python不支持它，或者从UTF-8源文件中去掉它。您可能用记事本保存了文件，然后继续使用不同的工具向开头添加更多代码，BOM被夹在中间。

删除整行和下一行，然后重新键入它们，或者从您定义的字符串的右引号中选择，直到h在下一行的headers之前，删除该部分，然后重新插入换行符和足够的缩进。

如果您的编辑器支持在搜索和替换时使用转义序列(例如，在regex模式下SublimeText支持)，则只需使用来搜索字符并将其替换为空字符串。在SublimeText中，打开正则表达式支持并搜索x{feff}，用空字符串替换这些匹配项。

您在这里使用的Pythonutf-8-sig编码还包括该BOM：

headers['User-Agent'] = usag.encode('utf-8-sig')

HTTP标头也不应包括该代码点。Http标头通常改为使用拉丁文-1；在这里甚至ASCII也足够了，但在其他情况下使用'utf-8'(no-sig)。

您实际上不需要在那里使用str.encode()，也可以只定义一个字节字符串：

headers = {}
usag = b'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:25.0) Gecko/20100101 Firefox/25.0'
headers['User-Agent'] = usag

请注意字符串文本的b前缀。