User-Agent 字符串：如何在 Python 中设置 User-Agent 字符串以避免反爬虫机制？

User-Agent是HTTP中的一个头部字段，它用于标识发送请求的客户端。许多网站使用User-Agent来检测爬虫，并根据其值拒绝请求。因此，在爬取网站时，为了避免遭到爬虫检测而被禁止访问，我们需要设置一个合适的User-Agent。

在Python中，我们可以使用requests库来发送HTTP请求并设置User-Agent字符串。具体方法如下：

import requests

headers = {
    'User-Agent': 'pidancode.com'
}

response = requests.get('http://example.com', headers=headers)

在以上代码中，我们将User-Agent设置为"pidancode.com"，然后将其添加到请求头中。最后，使用requests.get()方法发送HTTP GET请求，并传递请求头作为参数。

除了设置常见的User-Agent字符串外，还可以设置自定义的字符串，例如：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get('http://example.com', headers=headers)

在以上代码中，我们设置了一个类似于Chrome浏览器的User-Agent字符串，以便更好地模拟浏览器行为，从而减少被检测的几率。

总之，为了规避爬虫检测，我们需要设置一个合适的User-Agent字符串，以使我们的爬虫看起来更像一个普通的浏览器或应用程序。