用于使用窗体身份验证绕过警报消息的scrapy

2022-02-25 00:00:00 python web-scraping scrapy web-crawler

问题描述

Scrapy是否可以爬网警报消息?

链接(例如http://domainhere/admin)加载到实际浏览器后,会显示一条带有表单的警告消息,用于填写用户名和密码。

或者是否有办法检查警报消息中的表单,以了解要填写哪些参数?

PS:我确实有此网站的凭据,我只想通过Web爬网自动执行流程。

谢谢。


解决方案

我通过执行以下操作实现了这一点:

  1. 已观察到在身份验证后需要哪些数据才能继续该页。
  2. 我在Network选项卡中使用Chrome的开发人员工具检查了请求头。观察到需要授权。
  3. 为了验证步骤2,我使用了Postman。使用邮递员中的Authorization,Basic Auth类型,填写用户名和密码将为Authorization标头生成相同的值。在发送POST请求之后,它加载了所需的页面并绕过身份验证。
  4. 如果请求标头下的Authorization具有相同的值,请将该值存储在Screper类中。
  5. 将scrapy.Request函数与Headers参数一起使用。

编码:

import scrapy

class TestScraper(scrapy.Spider):
    handle_httpstatus_list = [401]
    name = "Test"
    allowed_domains = ["xxx.xx.xx"]
    start_urls = ["http://testdomain/test"]

    auth = "Basic [Key Here]"

    def parse(self, response):
        return scrapy.Request(
            "http://testdomain/test",
            headers={'Authorization': self.auth},
            callback=self.after_login
        )

    def after_login(self, response):
        self.log(response.body)

现在,您可以在身份验证过程之后对页面进行爬网。

相关文章