如何在 Scrapy 中使用自定义的 Spider 调度器进行爬虫调度和控制？

2023-04-17 00:00:00 爬虫调度自定义

在 Scrapy 中，Spider 调度器默认的调度算法是 FIFO（先进先出），也就是说按照先请求的 URL 先处理。但是有些场景下，我们可能需要使用自定义的 Spider 调度器来实现更符合我们需求的调度算法。下面就以一个简单例子来演示如何在 Scrapy 中使用自定义的 Spider 调度器进行爬虫调度和控制。

在 Scrapy 中，Spider 调度器负责管理待处理的请求(requests)队列，默认使用的是 Queue，但是我们可以通过修改 Scheduler 来改变默认的调度策略。具体做法是，在自己的调度器中重写 Scheduler 的调度方法，并在 Spider 中使用自定义的调度器。

例如，我们想要实现一个简单的调度逻辑，即先请求 pidancode.com，再请求该网站下的其他子页面。我们可以按照如下步骤来完成：

创建自定义的 Spider 调度器

创建一个类 CustomScheduler，继承 Scrapy 自带的 Scheduler，并重写其中的方法 _next_request，该方法用于从待处理的 requests 队列中取出下一个要处理的请求。在我们的调度器中，我们判断如果当前请求的 URL 不是 pidancode.com，就优先处理该请求；否则将它加入队列的末尾。

from scrapy.core.scheduler import Scheduler

class CustomScheduler(Scheduler):

    def __init__(self, spider, *args, **kwargs):
        super(CustomScheduler, self).__init__(spider, *args, **kwargs)
        self._requests = []
        self._pidancode_req = None

    def enqueue_request(self, request):
        if request.url == 'http://www.pidancode.com':
            self._pidancode_req = request
        else:
            self._requests.append(request)

    def _next_request(self):
        if self._pidancode_req is not None:
            return self._pidancode_req
        elif len(self._requests) > 0:
            return self._requests.pop(0)
        else:
            return None

在 Spider 中使用自定义的调度器

在 Spider 的 init 方法中，创建一个 CustomScheduler 对象，并将其加入 Spider 的调度器中。并且覆盖掉原来的调度器。

from scrapy.spiders import Spider

class MySpider(Spider):

    name = "myspider"
    start_urls = ['http://www.pidancode.com']

    def __init__(self, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.scheduler = CustomScheduler(self)

    def start_requests(self):
        for url in self.start_urls:
            yield self.make_requests_from_url(url)

    def parse(self, response):
        # do something
        pass

运行爬虫

在项目的根目录下，运行 scrapy crawl myspider 命令，即可启动爬虫。我们可以通过日志信息看到程序运行时的调度顺序。

2019-11-11 21:57:16 [scrapy.core.engine] INFO: Spider opened
2019-11-11 21:57:16 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-11-11 21:57:16 [myspider] INFO: enqueued http://www.pidancode.com
2019-11-11 21:57:16 [myspider] INFO: enqueued http://www.pidancode.com/about
2019-11-11 21:57:16 [myspider] INFO: enqueued http://www.pidancode.com/product
2019-11-11 21:57:16 [myspider] INFO: enqueued http://www.pidancode.com/contact
2019-11-11 21:57:16 [myspider] INFO: enqueued http://www.pidancode.com/news
2019-11-11 21:57:16 [myspider] INFO: enqueued http://www.pidancode.com/example
2019-11-11 21:57:16 [myspider] INFO: enqueued http://www.pidancode.com/feedback
2019-11-11 21:57:16 [myspider] INFO: enqueued http://www.pidancode.com/join
2019-11-11 21:57:16 [myspider] INFO: enqueued http://www.pidancode.com/search?keyword=python
2019-11-11 21:57:16 [myspider] INFO: starting download http://www.pidancode.com
2019-11-11 21:57:17 [myspider] INFO: starting download http://www.pidancode.com/about
2019-11-11 21:57:17 [myspider] INFO: starting download http://www.pidancode.com/product
2019-11-11 21:57:17 [myspider] INFO: starting download http://www.pidancode.com/contact
2019-11-11 21:57:17 [myspider] INFO: starting download http://www.pidancode.com/news
2019-11-11 21:57:17 [myspider] INFO: starting download http://www.pidancode.com/example
2019-11-11 21:57:17 [myspider] INFO: starting download http://www.pidancode.com/feedback
2019-11-11 21:57:17 [myspider] INFO: starting download http://www.pidancode.com/join
2019-11-11 21:57:17 [myspider] INFO: starting download http://www.pidancode.com/search?keyword=python
2019-11-11 21:57:18 [myspider] INFO: Spider closed (finished)

通过以上步骤，我们成功实现了一个简单的自定义 Spider 调度器，并用它来控制爬虫的调度顺序。正式开发中，我们可以根据自己的需求构建更复杂的调度策略，从而提高爬虫的效率和可控性。

相关文章