Scrapy 爬虫的调度器：如何实现并发请求和控制速度？

Scrapy爬虫的调度器利用两个重要的组件来实现并发请求和控制速度：

1. 下载器中间件：Scrapy中的下载器中间件能够让爬虫在向目标网站发送请求时，实现一些自己定义的处理逻辑，比如添加请求头、代理IP、限制访问速度等。通过修改下载器中间件，可以实现并发请求和控制速度。

2. Scrapy下载器中的并发请求处理器：Scrapy中的下载器是支持并发请求的，可以通过设置并发请求数量的上限，来控制并发请求的数量。这样可以提高爬虫效率，但也会带来一些问题，比如过多的并发请求可能会导致目标网站被封IP，为此需要适当控制请求速度，使用下载延迟器可以实现这一功能。

代码演示：

我们在 settings.py 文件中进行如下配置，以实现控制访问速度为 2 秒一次：

DOWNLOAD_DELAY = 2

同时，在下载器中间件中进行实现，以实现添加请求头：

class PidancodeDownloaderMiddleware:
    def process_request(self, request, spider):
        # 添加 User-Agent
        request.headers.setdefault('User-Agent', random.choice(USER_AGENT_LIST))
        # 添加 Referer
        request.headers.setdefault('Referer', 'http://pidancode.com')
        return None