Scrapy 入门指南：学习基础知识并爬取第一个网站

Scrapy是一个用Python编写的高级网络爬虫框架，可以用于抓取和提取Web站点的数据，如产品价格，评论，联系信息等。

以下是Scrapy的入门指南，帮助你学习基本知识并使用Scrapy爬取第一个网站。

1. 安装Scrapy

在安装Scrapy之前，需确保已安装Python并配置好环境变量。

在终端或命令提示符下运行以下命令：

pip install scrapy

2. 创建新的Scrapy项目

在终端或命令提示符下运行以下命令：

scrapy startproject myproject

这将创建一个名为myproject的新目录，其中包含Scrapy项目的基本结构。

3. 创建新的Spider

在myproject目录中创建新文件spiders/myspider.py，并将以下代码粘贴到该文件中：

import scrapy

class MySpider(scrapy.Spider):
    name = "myspider"
    start_urls = [
        'https://pidancode.com'
    ]

    def parse(self, response):
        title = response.css('title::text').extract_first()
        yield {'title': title}

上述代码定义了一个名为myspider的Spider类。它的start_urls只包含一个初始URL“https://pidancode.com”，parse()函数用于从网页中提取数据并以字典形式输出title。

4. 运行Spider

在myproject目录中运行以下命令：

scrapy crawl myspider

这将运行myspider Spider，并访问start_urls中的初始URL。输出结果将包含从网页中提取的title。

5. 保存数据

在上述代码中yield {'title': title} 表示输出 title并以字典形式呈现。可以将它们保存为JSON文件和CSV文件。请在执行命令时指定输出文件的名称。

scrapy crawl myspider -o output.json
scrapy crawl myspider -o output.csv

此外，还有其他输出格式，例如XML，JSON lines和pickle等。

通过上述Scrapy入门指南，您可以创建自己的Scrapy项目，并使用Scrapy爬取您感兴趣的网站数据。