R语言网络数据抓取的又一个难题，终于攻破了！

2020-06-16 00:00:00 函数 参数 请求 方式 抓取

单纯从数据抓取的逻辑来讲（不谈那些工程上的可用框架），个人觉得R语言中现有的请求库中，RCurl和httr完全可以对标Python中的urllib和reuqests(当然py中在错误处理和解析框架上显得更为专业！)。

我们经常使用的网络数据抓取需求，无非两种：

  • 要么伪造浏览器请求
    要么驱动浏览器请求

对于伪造浏览器请求而言，虽然请求定义里有诸多类型，但是实际上爬虫用到的无非就是GET请求和POST请求。

而驱动浏览器就几乎没有什么门槛了，所见即所得，R语言中的RSelenium/Rwebdriver和Python中的Selenium都可以完成（配置比较麻烦一些）。

实习僧招聘网爬虫数据可视化

GET请求的参数允许写在URL里，但是通常参数较多的情况下，直接拼url显得非常不优雅，而RCurl，httr都提供了可选的GET请求提交方式。在RCurl里，getURL通常用来完成不含参数的GET请求（或者参数直接拼在了URL里），而getForm()函数通常用来完成含有参数的GET请求。（参数写在param参数体中）。

左右用R右手Pyhon系列——趣直播课程抓取实战

R语言爬虫实战——知乎live课程数据爬取实战

httr中的GET函数同样完成GET请求，query参数作为指定的请求参数提交方式（同样可以选择写在URL里）。

针对POST请求而言，作为API的普遍请求方式（也有一部分API是通过GET请求发送的），POST请求灰常复杂，它的查询参数必须含在请求体(body)中，而且参数发送前需要做指定的编码方式（就是request header中的content-type）。

长见的编码方式有4种：

  • application/x-www-form-urlencoded
  • application/json
  • multipart/form-data
  • text/xml

如果你想深入理解这四种方式，可以参考以下两篇文章，或者去看专业的http协议与浏览器相关内容。

cnblogs.com/111testing/ bbs.125.la/thread-13743


以上四种参数，我只实践过前两种，第三种需要上传文件，暂未遇到，第四种很少见。在RCurl包的POST函数中，只针对种、第三种做了显式的参数声明
style=httppost、post，但是第二种、第四种style参数中没有列举到。而httr在参数处理上显得非常友好，直接指定了以上常见的四种方式：

左手用R右手Python系列——模拟登陆教务系统

R语言爬虫实战——网易云课堂数据分析课程板块数据爬取

要知道如今web前端中，使用json作为数据包返回的api是在是太普遍了，这个问题一直困扰着我，甚至一度认为RCurl包的POST方法不支持上传json参数（可是RCurl是直接对接liburl这个通用的爬虫C语言库的，urllib也是，httr底层是用了RCurl的，httr能做到的RCurl自然不在话下）。

一定是作者把上传json参数的方式隐藏了起来，或者是还没有来得及封装成函数，放在了底层，否则解释不通。直到今天，浏览了linkedlin上面的一个大神写的小品文，突然灵光乍现，赶紧一试，果然成功了！验证了之前的想法，可能RCurl刚出道的时候，json还没有成主流吧，所以json传参没有明显的放在style这个POST方法的参数里。而httr包则很讨巧的把所有POST参数的编码方式都声明了（哈德利大神就是快人一步，造福人类）。

linkedin.com/pulse/web-

以下是写作本篇推送的目地，把利用RCurl包构造POST请求，以及提交json字符串参数的案例及代码分享给大家。RCurl库与httr相比，偏底层，函数多且繁琐，httr更灵巧、轻便、简洁。这种关系，像极了Python中的urllib和request。

构建报头和查询参数：

library("RCurl")
library("jsonlite")
library("magrittr")
headers<-c(  "User-Agent"="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36",  "Content-Type"="application/json;charset=UTF-8",  "Origin"="http://study.163.com",  "edu-script-token"="3de0ac05e45a4c9693f2a3605fbfaede")
Cookies<- 'EDUWEBDEVICE=0e88ed7a9b8b4fc4bfc615e251aa8863; _ntes_nnid=833311d30eccaa9f26425affae2cfef1,1509630974190; _ntes_nuid=833311d30eccaa9f26425affae2cfef1; STUDY_CP_ENTRANCE_CLOSE=1; STUDY_MIND_TELBIND_CLOSE=1; promTips=1; NTESSTUDYSI=3de0ac05e45a4c9693f2a3605fbfaede; STUDY_INFO=oP4xHuM9V1uY_TRID1ZzHOm5mkJY|6|12769628|1510452481337; STUDY_SESS="ryW1kbDYUPDpeexx7xnRK3cGH1nUulhhGJ9D1qIzrgCuSgHl96KRz9xVAwMO6jui9A7L4BJ6hUaaPXVtLf+pWBMHJEw6UtuJtXPjl2yhevq6wVYQtAaJ+N+2maA3kITUrUnNZE+nE0TmYBoQFSEgOKEjUu22o4FQQjD/GeyPrqJsX8TS4muhOF/kd9duGihHABYarJu/gx1XyYYhTqa89g=="; STUDY_PERSIST="8e2epkzTa+8Xy6agY2FPkUzktd9F+8CZ1rZxShzQSSRJ6RbRK2pSzoTqPic7hOB7dYsCtyfpIAD9Ue4S1oRerMBML+fd8iksmANh7THsUTBAXY6WM4kHXJFcNuERKuWuDeHOMilu1y+7T3/a7Jav0QPXrTaWx6YerFKJia2+3rEucY6CQ9waCFR9bhYObYkE6X9kJ71ahCvMYtkr9eXcE6s1rFdKOIgMEtQwxl1Jb8oli9XIBhsosLWHLIUZIfzGwHfmjuVpkfHAfiCIxUJfLiv82sP6EP+Q6n6O/pIeGx0="; STUDY_MIND_TELBIND=1; NETEASE_WDA_UID=12769628#|#1451204764916; NTES_STUDY_YUNXIN_ACCID=s-12769628; NTES_STUDY_YUNXIN_TOKEN=da46d92b7a9504736f2534ed1d366296; STUDY_NOT_SHOW_PROMOTION_WIN=true; utm="eyJjIjoiIiwiY3QiOiIiLCJpIjoiIiwibSI6IiIsInMiOiIiLCJ0IjoiIn0=|aHR0cDovL3N0dWR5LjE2My5jb20vY291cnNlcy1zZWFyY2g/a2V5d29yZD0lRTUlODglOTglRTUlODclQUY="; __utma=129633230.621520113.1509630968.1510452483.1510452504.13; __utmb=129633230.12.9.1510455608393; __utmc=129633230; __utmz=129633230.1509630968.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)'
headers['Cookie']<-Cookies
Payloads=list(
        "pageIndex"=1,
        "pageSize"=50,
        "relativeOffset"=0,
        "frontCategoryId"="400000000158033", 
       "searchTimeType"=-1,
        "orderType"=0,
        "priceType"=-1,
        "activityId"=0
        )

相关文章