使用 Python fake_useragent 库生成随机 User-Agent 来防止被反爬虫机制封禁

2023-04-17 00:00:00 python fake

以下是使用 Python fake_useragent 库生成随机 User-Agent 的代码演示:

from fake_useragent import UserAgent
ua = UserAgent()
headers = {'User-Agent': ua.random}
url = 'https://pidancode.com'
response = requests.get(url, headers=headers)

这里我们使用了 fake_useragent 库中的 UserAgent 类来生成随机的 User-Agent,然后将其放入请求的 headers 字典中。这样每次发送请求时,都会使用不同的 User-Agent,有效地防止了被反爬虫机制封禁的可能。
在这个例子中,我们将请求的 URL 设置为了“https://pidancode.com”,以展示如何使用字符串作为范例。当然,在实际中,你需要将 URL 设置成你要爬取的网站地址。

相关文章