如何使用 Scrapy 爬取 JavaScript 渲染的页面？

2023-04-17 00:00:00 渲染页面如何使用

Scrapy 是一个强大的 Python 爬虫框架，它支持异步请求和 JavaScript 渲染的页面的爬取。下面我们来讲解如何使用 Scrapy 爬取 JavaScript 渲染的页面：

安装 Scrapy 和 Splash

pip install scrapy
pip install scrapy-splash

在 Scrapy 的 settings.py 中配置 Splash 的地址

SPLASH_URL = 'http://localhost:8050'

在 Scrapy 的 settings.py 中添加相应的配置

SPIDER_MIDDLEWARES = {
    'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}

DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}

DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

在 Scrapy 的 spider.py 中添加 SplashRequest

import scrapy
from scrapy_splash import SplashRequest

class MySpider(scrapy.Spider):
    name = 'my_spider'

    def start_requests(self):
        yield SplashRequest(
            'http://pidancode.com/',
            callback=self.parse,
        )

    def parse(self, response):
        # 在这里处理爬取到的数据
        pass

这个例子中，我们使用 SplashRequest 代替了普通的 Request，它将请求发送给 Splash 服务器，并等待返回结果。

需要注意的是，我们需要分析出 JavaScript 渲染的页面请求的接口，然后在 Splash 脚本中使用“page:render”方法获取渲染后的页面，这个过程需要一些专业的技能。

以上就是使用 Scrapy 爬取 JavaScript 渲染页面的详细步骤，当然，实际的场景比这个稍微复杂一些，需要结合 Splash 脚本以及 Python 代码来完成。

相关文章