Flink 01 | 十分钟搭建个Flink应用和本地集群

2020-07-01 00:00:00 集群程序项目算子端口

上一篇文章《阿里腾讯华为都在追捧的新一代大数据引擎Flink到底有多牛？》中我对新一代大数据处理引擎Flink做了简单的介绍，包括：批量计算与流式计算的区别、流式计算引擎的重要性，以及Flink相比其他流式计算引擎的优势。因为Flink性能，解决了之前流式计算引擎的痛点，非常适合电商促销、风险控制、异常检测、金融交易等领域，阿里、腾讯、华为、美团、滴滴等大公司为了保证业务的实时性，正在积极将Flink部署在生产环境。Flink是当前大数据界冉冉升起的新星。比起Hadoop和Spark，精通Flink技术的人才相对较少，因此，掌握Flink技术对于转行或跳槽的朋友来说显得越发重要。

本文将带着大家从零开始，在个人电脑上编写并运行个Flink程序，在本地构建Flink集群。下一篇文章我将分享一些Flink的基础概念，欢迎大家持续关注我的公众号：ai-xingqiu。

准备工作

项目开始之前，你需要准备：

JDK 1.8+
Maven
Intellij Idea

Flink可以运行在Linux、macOS和Windows上，需要Java 1.8和Maven基础环境。关于Java的安装这里不再赘述，网络上有很多针对不同操作系统的安装配置指南，注意要配置Java的环境变量。Maven是一个项目管理工具，可以对Java或Scala项目进行构建及依赖管理，是进行大数据开发必备的工具。Intellij Idea是一个非常强大的编辑器和开发工具，内置了Maven等一系列小功能，是大数据开发必不可少的利器。Intellij Idea本来是一个商业软件，它提供了社区免费版本，免费版本已经基本能满足绝大多数的开发需求。

熟悉Scala的朋友也可以直接使用Scala。Scala是Spark大数据处理引擎推荐的编程语言，在很多公司，要同时进行Spark和Flink开发。Flink虽然主要基于Java，但这几年对Scala的支持越来越好，其提供的API也与Spark极其相似，开发人员如果使用Scala，几乎可以无缝从Spark和Flink之间转换。

本文将主要介绍Scala版的程序，也会给出Java版程序。

对于想学习大数据的朋友，非常有必要掌握好Java和Scala语言、Maven、Intellij Idea这些基础工具。

Java 环境配置：https://www.runoob.com/java/java-environment-setup.html

Maven 教程：https://www.runoob.com/maven/maven-setup.html

Intellij Idea：https://www.jetbrains.com/idea/

创建Maven项目

熟悉Maven命令行的朋友可以直接使用下面的命令创建一个项目，再使用Intellij Idea打开该项目：

$ mvn archetype:generate \
    -DarchetypeGroupId=org.apache.flink \
    -DarchetypeArtifactId=flink-quickstart-scala \
    -DarchetypeVersion=1.8.1 \
    -DgroupId=com.myflink \
    -DartifactId=flink-study-scala \
    -Dversion=.1 \
    -Dpackage=quickstart \
    -DinteractiveMode=false

相关文章