R语言天气可视化应用

2020-06-16 00:00:00 数据 语言 可视化 中国 天气

前言

在很多人看来，R语言还只是个玩具，完全不具备企业级应用的能力。说这些话的人，根本就不了解R语言，更不清楚如何做企业级应用开发。从我早接触R语言时，就把R做为可视化引擎嵌入到了晒粉丝的微博应用中；后来又开发了数据挖掘算法竞赛网站，并把R语言做为算法引擎，并支持在线编程及运行；我做的第三个R语言应用就是本文要给大家分享的每日中国天气微博应用，这次同样是把R做为可视化引擎，并让R完成爬虫、XML文档解析及数据处理等的任务；当然，我还实现了第四个、第五个、第六个以R为核心的应用，都是量化投资方面的，会在下一本书《R的极客理想-量化投资篇》再介绍给大家。

从我的使用经验来看，R语言已经具备了企业级应用的能力，但我并不是要用R语言完成所有编程任务。在我的项目环境中，大都是多种编程语言配合使用的，只有发挥各自语言的特性优势，才是未来的发展方向。

本文所介绍的每日中国天气微博应用开发，将分为3篇介绍R语言和PHP语言的混合编程，篇为R语言功能实现，第二篇为R包开发，第三篇为用PHP构建微博应用。本文是篇。

目录

  1. 项目介绍
  2. 系统架构设计
  3. R语言程序现实

1. 项目介绍

谈到多语言混编，同如在计算机领域跨学科一样，是我所一直倡导一种工作模式。当编程语言百花齐放，各种细分市场的小众语言如雨后春笋般地成长起来，比起通用型编程语言来说，这些小众语言在特定的领域中有着非常明显的优势。 比如统计应用，如果用Java写个逻辑回归程序感觉深不见底，而用R语言实现逻辑回归就是个很平常的一件事情。 再比如做一个Web网站，用PHP或Nodejs实现轻而易举，如果用Java做不仅代码量大，而且程序复杂。 所以，对于一个应用来说，一种通用的语言并不一定是好的解决方案，如果能实现多种语言的结合，那么你做出来的应用可以很酷，很不一样！

对于本文要介绍的 每日中国天气 这个新浪微博应用，就是一种多语言混编的实现。

项目介绍

这个项目的出发点很简单，就是通过可视化技术，展示中国每个省份的天气情况，给准备旅游的朋友，提供一种出行的提示。

要做实现这个应用，我们首先要列出，要实现哪些功能，会遇到哪些问题等。

  • 天气数据：数据从哪里找到，如何下载，如何存储。
  • 定时任务：天气数据需要每日更新，图片需要每日新生成。
  • 地图和天气可视化：要把中国行政区图和天气数据结合在一起画图，让用户一眼就能看明白。
  • Web展示：通过可视化技术，我们生成的只是一张静态图片，如何发布到Web端进行展示。
  • 微博：通过结合新浪微博，让更多的用户看到并使用这个应用。
  • 用户交互：用户可以查看不同日期、不同类型的图片，用户还可以通过微博分享。
  • 虽然是个很小的应用，但五脏俱全，我们也需要完整的思考，如何才能实现这个应用呢！

2. 系统架构设计

从上面的功能描述中，单独使用一种语言也可以实现的。 如果单独用PHP开发，做一个Web网站非常容易，连接新浪微博也有现成的SDK可以调用，爬取数据及存储也不麻烦，那么如何实现地图和天气数据的可视化，似乎就是卡在这里了。 如果单独用R开发，爬取数据及存储同样很容易实现，地图和天气数据的可视化也是很方便就能画出来，但是用R做Web网站，那就会遇到很大的瓶颈了，因为R是单线程同步的计算模型，Web应用的高并发特点，会直接让R程序崩溃的。 所以，综合上面的问题，如果R语言和PHP语言能结合在一起使用，不仅能避开每种语言不擅长的地方，还能在擅长的领域发挥出每种语言的特性，我们将通过多语言的混编技术做出很不一样的应用来。

为了实现应用的功能需求，我们要设计一套系统架构。

系统架构解释：

  • 通过定时器启动爬虫程序，到Yahoo的天气数据源下载数据。
  • 爬虫下载数据到本地服务器进行解析，存储应用相关的数据到CSV文件。
  • 可视化程序，读入天气数据及地图数据，生成静态的图片作为可视化输出。
  • 终用户通过新浪微博，加载Web应用，看到了可视化生成的静态图片。
  • 终用户通过新浪微博分享了这个应用，让更多的人看到这个应用。

下面按照语言的优势，把应用架构以语言的特性来划分，让R语言实现爬虫、处理数据和可视化，让PHP完成Web开发、新浪API接入和用户交互。


由于我们这个应用，不需要让R和PHP直接进行通信，那么复杂度就会变得小很多了，像我之前做的晒粉丝应用，是3种语言的结合包括了R, PHP, Java，通过Java实现中间程序的调度，让R和PHP能够实现通信。

我们通过语言的划分，就可以扬长避短，让每种语言在擅长的领域，完成擅长的事情。

对于后台技术应用，定时器可以用Linux系统的CRON实现；然后用R语言程序来爬取数据，通过RCurl包来完成；爬取后的数据为XML格式，再通过R语言用XML包进行解析，以CSV格式进行本地存储；接下来，再用R语言处理数据，加载地图包ggmap、mapdata、maptools，后配合plot()函数实现图片的输出，保存在本地服务器上。

对于前端的PHP应用来说，用PHP做一个Web网站很简单，使用YII快速开发框架；用PHP的新浪微博SDK进行API操作，实现新浪登陆，新浪分享等功能；后Nginx + Spawn构建出PHP运行时环境，让Nginx完成负载均衡和图片加载，并配合PHP的访问规则，实现功能的切换。

合理的架构设计加上适应的语言的分工，就能轻松实现了 每日中国天气 这样的一个微博应用。其实，我们可以用这种多语言混搭的方式，创建出各种创新型的网站应用，但前提是先能掌握多种语言。

这里我想再多说一句，通常我认识的程序员，都是在自己的技术领域中无限畅快，一旦他们掌握了一种语言的核心技术，并有了一些开发经验后，往往不愿意再去学第二种语言。 对这些人来说，总觉得自己就是世界的中心，自己有能力实现的所有的功能。这些也都是有理想的程序员，只不过他们进入了一个误区，被现有的技术给迷住了，看不到、也不愿意看到外面的世界已经变了。我曾经就是这样的！

我承认Java是一种无所不能的编程语言，但是如果你所有程序都用Java实现，难道不觉得又费时又费力吗？通用性越强，反而专有领域的应用性就越差。这也是我从Java单一的技术路线走出来的原因。其实，在精通一门语言后，再去学习另外一门新的语言，就不是那么难了。但如果只是沉醉于已掌握的技术，很快就会被一代新人，一代新工具所超越的。

3. R语言程序现实

下面就开始介绍R语言的部分程序开发，在写代码之前，我们需要先梳理开发流程，做一下程序设计，R语言都需要实现哪些功能，用到哪些第三方R包。


我用一幅图来说明程序之间的调用关系，R语言的程序实现一共包括了6个部分，爬虫程序、本地存储，地图加载、数据可视化处理、生成静态图、生成可交互的静态图。

上图中，分别标出了每个步骤用的到R包或者功能函数，同时我们可以按照这个流程来定义功能函数，这样我们就把整个应用程序都规划好，后再对应的写代码就不难了。

3.1 爬虫部分

对于爬虫部分来说，就是定时下载每个城市的或地区的天气数据，并解析数据，只保留我们需要的字段，并以CSV的格式存储。互联网上有很多免费公开的天气数据源，对我来说，方便的数据源有2个，一个是Yahoo的天气数据，另一个Google的天气数据，但由于Google的API从中国大陆会经常会访问不到，所以我在这里选择Yahoo的天气数据源进行访问。

yahoo天气数据源的访问地址，如下所示。

http://weather.yahooapis.com/forecastrss?w=WOEID

相关文章