Python3网络爬虫(十一)：爬虫黑科

原文链接： Jack-Cui，Http://blog.csdn.net/c406495762

运行平台： windows
python版本： python3.x
IDE： Sublime text3

1 前言

近期，有些朋友问我一些关于如何应对反爬虫的问题。由于好多朋友都在问，因此决定写一篇此类的博客。把我知道的一些方法，分享给大家。博主属于小菜级别，玩爬虫也完全是处于兴趣爱好，如有不足之处，还望指正。

在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 html 表单或其他网页文件），然后对数据进行解析，提取需要的信息。

说句实在话，如果我的网站总是让人爬来爬取的，经常被虚拟访问者骚扰，我也是蛮烦的，而且如果遇到“霸道”一点的爬虫，都能直接把服务器卡死。因此，我们在爬取别人网站的时候，也多为对方考虑考虑。不过话说回来，我却没有这个烦恼，为什么呢？因为我根本就没有自己的网站。=.=

2 黑科技

网站防采集的前提就是要正确地区分人类访问用户和网络机器人。现在网站有很多技术来防止爬虫，比如验证码，对于一些简单的数字验证码，可以使用训练好的caffemodel诸如此类的模型去识别，准确率还是可以的。当然，也可以在GitHub搜一搜关于验证码识别的东西，看一看大牛们是怎么玩的。除了这些高大上的，还有一些十分简单的方法可以让你的网络机器人看起来更像人类访问用户。

2.1 构造合理的HTTP请求头

除了处理网站表单，requests 模块还是一个设置请求头的利器。HTTP 的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。HTTP 定义了十几种古怪的请求头类型，不过大多数都不常用。

每个网站都有不同的请求头，如何获取这个请求头呢？可以用我从前提到过的Fiddler或者审查元素的方法，我们可以根据实际情况进行配置。例如，GET百度根目录的时候，需要添加的请求头信息如下：

部分参数说明：

• Upgrade-Insecure-Requests：参数为1。该指令用于让浏览器自动升级请求从http到https,用于大量包含http资源的http网页直接升级到https而不会报错。简洁的来讲,就相当于在http和https之间起的一个过渡作用。就是浏览器告诉服务器，自己支持这种操作，我能读懂你服务器发过来的上面这条信息，并且在以后发请求的时候不用http而用https；

• User-Agent：有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了要让程序可以正常运行，我们需要设置一个浏览器的User-Agent；

• Accept：浏览器可接受的MIME类型，可以根据实际情况进行设置；

• Accept-Encoding：浏览器能够进行解码的数据编码方式，比如gzip。Servlet能够向支持gzip的浏览器返回经gzip编码的HTML页面。许多情形下这可以减少5到10倍的下载时间；

• Accept-Language：浏览器所希望的语言种类，当服务器能够提供一种以上的语言版本时要用到；

• Cookie：这是最重要的请求头信息之一。中文名称为“小型文本文件”或“小甜饼“，指某些网站为了辨别用户身份而储存在用户本地终端（Client Side）上的数据（通常经过加密）。定义于RFC2109。是网景公司的前雇员卢·蒙特利在1993年3月的发明。

2.2 设置Cookie的学问

虽然 cookie 是一把双刃剑，但正确地处理 cookie 可以避免许多采集问题。网站会用 cookie 跟踪你的访问过程，如果发现了爬虫异常行为就会中断你的访问，比如特别快速地填写表单，或者浏览大量页面。虽然这些行为可以通过关闭并重新连接或者改变 IP 地址来伪装，但是如果 cookie 暴露了你的身份，再多努力也是白费。

在采集一些网站时 cookie 是不可或缺的。要在一个网站上持续保持登录状态，需要在多个页面中保存一个 cookie。有些网站不要求在每次登录时都获得一个新 cookie，只要保存一个旧的“已登录”的 cookie 就可以访问。

如果你在采集一个或者几个目标网站，建议你检查这些网站生成的 cookie，然后想想哪一个 cookie 是爬虫需要处理的。有一些浏览器插件可以为你显示访问网站和离开网站时 cookie 是如何设置的。例如：EditThisCookie，该插件可以谷歌商店进行下载。URL：http://www.editthiscookie.com/

Cookie信息，也可以根据实际情况填写。不过requests已经封装好了很多操作，自动管理cookie，session保持连接。我们可以先访问某个目标网站，建立一个session连接之后，获取cookie。代码如下：

# -*- coding:UTF-8 -*-
import requests

if __name__ == '__main__':
    url = 'https://www.baidu.com/'
    headers = {'Upgrade-Insecure-Requests':'1',
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWEBKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,**;q=0.8',
        'Referer':'http://www.xicidaili.com/nn/',
        'Accept-Encoding':'gzip, deflate, sdch',
        'Accept-Language':'zh-CN,zh;q=0.8',
    }
    target_response = S.get(url = target_url, headers = target_headers)
    target_response.encoding = 'utf-8'
    target_html = target_response.text
    bf1_ip_list = BeautifulSoup(target_html, 'lxml')
    bf2_ip_list = BeautifulSoup(str(bf1_ip_list.find_all(id = 'ip_list')), 'lxml')
    ip_list_info = bf2_ip_list.table.contents

    proxys_list = []
    for index in range(len(ip_list_info)):
        if index % 2 == 1 and index != 1:
            dom = etree.HTML(str(ip_list_info[index]))
            ip = dom.xpath('//td[2]')
            port = dom.xpath('//td[3]')
            protocol = dom.xpath('//td[6]')
            proxys_list.append(protocol[0].text.lower() + '#' + ip[0].text + '#' + port[0].text)
    print(proxys_list)

可以看到，通过这种方法，很容易的就获得了这100个IP，包括他们的协议、IP和端口号。这里我是用”#”符号隔开，使用之前，只需要spilt()方法，就可以提取出信息。

已经获取了IP，如何验证这个IP是否可用呢？一种方案是GET请求一个网页，设置timeout超市时间，如果超时服务器没有反应，说明IP不可用。这里的实现，可以参见Requests的高级用法：http://docs.Python-requests.org/zh_CN/latest/user/advanced.html

这种设置timeout的验证方法是一种常见的方法，很多人都这样验证。所以博主就想了一个问题，有没有其他的方法呢？经过思考，想出了一个方法，测试了一个，验证一个IP大约需要3秒左右。呃..当然这种方法是我自己琢磨出来的，没有参考，所以，如果有错误之处，或者更好的方法，还望指正！

在Windows下，可以在CMD中输入如下指令查看IP的连通性(Mac和linux可以在中断查看)：

从免费代理网站获得的代理IP很不稳定，过几分钟再测试这个代理IP你可能会发现，这个IP已经不能用了。所以再使用代理IP之前，我们需要测试下代理IP是否可用。

从上文可知，通过测试本机和代理IP地址的连通性，我们能够大致知道这个代理 IP的健康情况。如果，本机能够ping通这个代理 IP，那么我们也就可以使用这个代理 IP去访问其他网站。这个过程是在cmd中执行的，那么python有没有提供一个方法，通过程序来实现这样的操作呢？答案是肯定的，有！Subprocess.Popen()可以创建一个进程，当shell参数为true时，程序通过shell来执行：

• 参数args可以是字符串或者序列类型（如：list，元组），用于指定进程的可执行文件及其参数。如果是序列类型，第一个元素通常是可执行文件的路径。我们也可以显式的使用executeable参数来指定可执行文件的路径。
• 参数stdin, stdout,stderr分别表示程序的标准输入、输出、错误句柄。他们可以是PIPE，文件描述符或文件对象，也可以设置为None，表示从父进程继承。
• 如果参数shell设为true，程序将通过shell来执行。
• subprocess.PIPE：在创建Popen对象时，subprocess.PIPE可以初始化stdin,stdout或stderr参数。表示与子进程通信的标准流。
• subprocess.STDOUT：创建Popen对象时，用于初始化stderr参数，表示将错误通过标准输出流输出。
• 了解到以上这些，我们就可以写我们的程序了(ping本机回环地址)：

# -*- coding:UTF-8 -*-
import subprocess as sp

if __name__ == '__main__':
    cmd = "ping -n 3 -w 3 127.0.0.1"
    #执行命令
    p = sp.Popen(cmd, stdin=sp.PIPE, stdout=sp.PIPE, stderr=sp.PIPE, shell=True)
    #获得返回结果并解码
    out = p.stdout.read().decode("gbk")
    print(out)

运行结果如下：

能都得到返回结果，跟cmd中类似，接下来，我们就可以制定相应的规则，根据返回信息来剔除不满足要求的ip。

整体代码如下：

# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import subprocess as sp
from lxml import etree
import requests
import random
import re

"""
函数说明:获取IP代理
Parameters:
    page - 高匿代理页数,默认获取第一页
Returns:
    proxys_list - 代理列表
Modify:
    2017-05-27
"""
def get_proxys(page = 1):
    #requests的Session可以自动保持cookie,不需要自己维护cookie内容
    S = requests.Session()
    #西祠代理高匿IP地址
    target_url = 'http://www.xicidaili.com/nn/%d' % page
    #完善的headers
    target_headers = {'Upgrade-Insecure-Requests':'1',
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Referer':'http://www.xicidaili.com/nn/',
        'Accept-Encoding':'gzip, deflate, sdch',
        'Accept-Language':'zh-CN,zh;q=0.8',
    }
    #get请求
    target_response = S.get(url = target_url, headers = target_headers)
    #utf-8编码
    target_response.encoding = 'utf-8'
    #获取网页信息
    target_html = target_response.text
    #获取id为ip_list的table
    bf1_ip_list = BeautifulSoup(target_html, 'lxml')
    bf2_ip_list = BeautifulSoup(str(bf1_ip_list.find_all(id = 'ip_list')), 'lxml')
    ip_list_info = bf2_ip_list.table.contents
    #存储代理的列表
    proxys_list = []
    #爬取每个代理信息
    for index in range(len(ip_list_info)):
        if index % 2 == 1 and index != 1:
            dom = etree.HTML(str(ip_list_info[index]))
            ip = dom.xpath('//td[2]')
            port = dom.xpath('//td[3]')
            protocol = dom.xpath('//td[6]')
            proxys_list.append(protocol[0].text.lower() + '#' + ip[0].text + '#' + port[0].text)
    #返回代理列表
    return proxys_list

"""
函数说明:检查代理IP的连通性
Parameters:
    ip - 代理的ip地址
    lose_time - 匹配丢包数
    waste_time - 匹配平均时间
Returns:
    average_time - 代理ip平均耗时
Modify:
    2017-05-27
"""
def check_ip(ip, lose_time, waste_time):
    #命令 -n 要发送的回显请求数 -w 等待每次回复的超时时间(毫秒)
    cmd = "ping -n 3 -w 3 %s"
    #执行命令
    p = sp.Popen(cmd % ip, stdin=sp.PIPE, stdout=sp.PIPE, stderr=sp.PIPE, shell=True)
    #获得返回结果并解码
    out = p.stdout.read().decode("gbk")
    #丢包数
    lose_time = lose_time.findall(out)
    #当匹配到丢失包信息失败,默认为三次请求全部丢包,丢包数lose赋值为3
    if len(lose_time) == 0:
        lose = 3
    else:
        lose = int(lose_time[0])
    #如果丢包数目大于2个,则认为连接超时,返回平均耗时1000ms
    if lose > 2:
        #返回False
        return 1000
    #如果丢包数目小于等于2个,获取平均耗时的时间
    else:
        #平均时间
        average = waste_time.findall(out)
        #当匹配耗时时间信息失败,默认三次请求严重超时,返回平均好使1000ms
        if len(average) == 0:
            return 1000
        else:
            #
            average_time = int(average[0])
            #返回平均耗时
            return average_time

"""
函数说明:初始化正则表达式
Parameters:
    无
Returns:
    lose_time - 匹配丢包数
    waste_time - 匹配平均时间
Modify:
    2017-05-27
"""
def initpattern():
    #匹配丢包数
    lose_time = re.compile(u"丢失 = (\d+)", re.IGNORECASE)
    #匹配平均时间
    waste_time = re.compile(u"平均 = (\d+)ms", re.IGNORECASE)
    return lose_time, waste_time

if __name__ == '__main__':
    #初始化正则表达式
    lose_time, waste_time = initpattern()
    #获取IP代理
    proxys_list = get_proxys(1)

    #如果平均时间超过200ms重新选取ip
    while True:
        #从100个IP中随机选取一个IP作为代理进行访问
        proxy = random.choice(proxys_list)
        split_proxy = proxy.split('#')
        #获取IP
        ip = split_proxy[1]
        #检查ip
        average_time = check_ip(ip, lose_time, waste_time)
        if average_time > 200:
            #去掉不能使用的IP
            proxys_list.remove(proxy)
            print("ip连接超时, 重新获取中!")
        if average_time < 200:
            break

    #去掉已经使用的IP
    proxys_list.remove(proxy)
    proxy_dict = {split_proxy[0]:split_proxy[1] + ':' + split_proxy[2]}
    print("使用代理:", proxy_dict)

从上面代码可以看出，我制定的规则是，如果丢包数大于2个，则认为ip不能用。ping通的平均时间大于200ms也抛弃。当然，我这个要求有点严格，可以视情况放宽规则：

从打印结果中可以看出，第一个随机选取的IP被抛弃了，第二个随机选取的IP能用。

我只是实现了，构建代理IP池和检查IP是否可用，如果你感兴趣也可以将获取的IP放入到数据库中，不过我没这样做，因为感觉免费获取的代理IP，失效很快，随用随取就行。当然，也可以自己写代码试试reqeusts的GET请求，通过设置timeout参数来验证代理IP是否可用，因为方法简单，所以在此不再累述。

除此之外，我们也可以个创建一个User-Agent的列表，多罗列点。也是跟代理IP一样，每次访问随机选取一个。这样在一定程度上，也能避免被服务器封杀。

3 总结

如果你一直被网站封杀却找不到原因，那么这里有个检查列表，可以帮你诊断一下问题出在哪里。

• 首先,检查 JavaScript。如果你从网络服务器收到的页面是空白的，缺少信息，或其遇到他不符合你预期的情况（或者不是你在浏览器上看到的内容），有可能是因为网站创建页面的 javascript 执行有问题。
• 检查正常浏览器提交的参数。如果你准备向网站提交表单或发出 POST 请求，记得检查一下页面的内容，看看你想提交的每个字段是不是都已经填好，而且格式也正确。用 Chrome 浏览器的网络面板（快捷键 F12 打开开发者控制台，然后点击“Network”即可看到）查看发送到网站的 POST 命令，确认你的每个参数都是正确的。
• 是否有合法的 Cookie？如果你已经登录网站却不能保持登录状态，或者网站上出现了其他的“登录状态”异常，请检查你的 cookie。确认在加载每个页面时 cookie 都被正确调用，而且你的 cookie 在每次发起请求时都发送到了网站上。
• IP 被封禁？如果你在客户端遇到了 HTTP 错误，尤其是 403 禁止访问错误，这可能说明网站已经把你的 IP 当作机器人了，不再接受你的任何请求。你要么等待你的 IP 地址从网站黑名单里移除，要么就换个 IP 地址。如果你确定自己并没有被封杀，那么再检查下面的内容：
  • 确认你的爬虫在网站上的速度不是特别快。快速采集是一种恶习，会对网管的服务器造成沉重的负担，还会让你陷入违法境地，也是 IP 被网站列入黑名单的首要原因。给你的爬虫增加延迟，让它们在夜深人静的时候运行。切记：匆匆忙忙写程序或收集数据都是拙劣项目管理的表现；应该提前做好计划，避免临阵慌乱。
  • 还有一件必须做的事情：修改你的请求头！有些网站会封杀任何声称自己是爬虫的访问者。如果你不确定请求头的值怎样才算合适，就用你自己浏览器的请求头吧。
  • 确认你没有点击或访问任何人类用户通常不能点击或接入的信息。
  • 如果你用了一大堆复杂的手段才接入网站，考虑联系一下网管吧，告诉他们你的目的。试试发邮件到 webmaster@< 域名 > 或 admin@< 域名 >，请求网管允许你使用爬虫采集数据。管理员也是人嘛！

使用免费的代理IP也是有局限的，就是不稳定。更好的方法是，花钱买一个可以动态切换IP的阿里云服务器，这样IP就可以无限动态变化了！

以上内容整理自《Python网络数据采集》，以及自己的一点小心得。重要的事情再说一遍：我们在爬取别人网站的时候，也为对方考虑考虑！

代码获取：Python3爬虫的程序，可以在我的github上查看。URL：https://github.com/Jack-Cherish/python-spider