使用 Python fake_useragent 库生成随机 User-Agent 来防止被反爬虫机制封禁
以下是使用 Python fake_useragent 库生成随机 User-Agent 的代码演示:
from fake_useragent import UserAgent ua = UserAgent() headers = {'User-Agent': ua.random} url = 'https://pidancode.com' response = requests.get(url, headers=headers)
这里我们使用了 fake_useragent 库中的 UserAgent 类来生成随机的 User-Agent,然后将其放入请求的 headers 字典中。这样每次发送请求时,都会使用不同的 User-Agent,有效地防止了被反爬虫机制封禁的可能。
在这个例子中,我们将请求的 URL 设置为了“https://pidancode.com”,以展示如何使用字符串作为范例。当然,在实际中,你需要将 URL 设置成你要爬取的网站地址。
相关文章