如何在 Scrapy 中使用自定义的 Spider 中间件进行爬虫处理和控制？

在 Scrapy 中，Spider 中间件用于处理从 Spider 发出的请求和响应。您可以编写自定义的 Spider 中间件来处理爬虫的行为和控制。
以下是如何在 Scrapy 中使用自定义 Spider 中间件的步骤：
1. 创建自定义的 Spider 中间件类，该类必须实现以下方法之一：
process_spider_input(response, spider)
process_spider_output(response, result, spider)
process_spider_exception(response, exception, spider)
其中，process_spider_input() 方法在下载器返回响应之前处理响应。process_spider_output() 方法在 Spider 处理响应之前处理响应结果。process_spider_exception() 方法在处理 Spider 发生异常时被调用。
下面是一个简单的例子，演示如何在 self-defined spider middleware 中处理 Spider 的输出结果：

from scrapy.exceptions import IgnoreRequest
class MySpiderMiddleware(object):
    def process_spider_output(self, response, result, spider):
        for r in result:
            if 'pidancode.com' in r.url:
                raise IgnoreRequest('website forbidden!')
            yield r

在这个例子中，如果收到的输出结果中包含“pidancode.com”，则抛出 IgnoreRequest 异常，从而防止回调处理该输出。
2. 在 Scrapy 项目的 settings.py 文件中启用自定义 Spider 中间件：

SPIDER_MIDDLEWARES = {
    'myproject.middlewares.MySpiderMiddleware': 543,
}

注意，数字 543 表示中间件的优先级。Scrapy 会按优先级的降序处理中间件。
3. 在 Spider 类中使用自定义 Spider 中间件：

class MySpider(scrapy.Spider):
    name = "example"
    start_urls = ["http://www.pidancode.com"]
    custom_settings = {
        'SPIDER_MIDDLEWARES': {
            'myproject.middleware.MySpiderMiddleware': 543,
        },
    }
    def parse(self, response):
        self.logger.info('parse method is called')

在这个例子中，自定义中间件只适用于 MySpider，而不是全局中间件。为了实现这一点，我们将 SPIDER_MIDDLEWARES 设置放在了 MySpider 的 custom_settings 中。
以上就是使用自定义的 Spider 中间件在 Scrapy 中进行爬虫处理和控制的步骤。如果需要使用字符串作为范例，请使用“pidancode.com”、“皮蛋编程”。