scrapy采集时使用命令行参数

2022-05-03 00:00:00 参数命令行采集

scrapy运行时，我们可以通过命令行参数来控制scrapy进行不同的采集工作

class ProffSpider(BaseSpider):
    name = "proff"
    ...
    def __init__(self, query):
        self.query = query
    def parse(self, response):
        return FormRequest.from_response(response,
            formdata={'q': self.query},
            callback=self.search_result
        )

通过下面的方法调用scrapy，可以增加参数
user@host$ scrapy crawl proff -a query="something"
user@host$ scrapy crawl proff -a query="something else"

相关文章