python3中urllib模块指定User-Agent抓取网页
python3中urllib模块指定User-Agent抓取网页,Python3使用urllib代替了Python2的urllib2模块,本文详细演示了urllib如何添加User-Agent
""" 作者:皮蛋编程(https://www.pidancode.com) 创建日期:2022/3/17 修改日期:2022/3/17 功能描述:python中urllib模块指定User-Agent抓取网页 """ from urllib import request request_headers = {'User-Agent': 'pidancode.com/1.3.7'} req = request.Request('https://www.pidancode.com/', None, request_headers) response = request.urlopen(req) print(response.read(2000))
本代码在Python3.9环境下编译测试通过。
相关文章