python使用自定义的user-agent抓取网页

2022-04-26 00:00:00 python 自定义 User

下面python代码通过urllib抓取指定的url的内容，并且使用自定义的user-agent，防止网站屏蔽采集器

"""
皮蛋编程(https://www.pidancode.com)
创建日期：2022/4/24
功能描述：python使用自定义的user-agent抓取网页
"""
import urllib.request
req = urllib.request.Request('https://www.pidancode.com')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib.request.urlopen(req)
html = res.read()
print(html)

相关文章