python3中urllib模块指定User-Agent抓取网页

2022-03-11 00:00:00 指定 模块 python3

python3中urllib模块指定User-Agent抓取网页,Python3使用urllib代替了Python2的urllib2模块,本文详细演示了urllib如何添加User-Agent

"""
作者:皮蛋编程(https://www.pidancode.com)
创建日期:2022/3/17
修改日期:2022/3/17
功能描述:python中urllib模块指定User-Agent抓取网页
"""
from urllib import request

request_headers = {'User-Agent': 'pidancode.com/1.3.7'}
req = request.Request('https://www.pidancode.com/', None, request_headers)
response = request.urlopen(req)
print(response.read(2000))

本代码在Python3.9环境下编译测试通过。

相关文章