从0到1搭建flink程序-WordCount（图文/详细/mac）

一、目标以及前置资料

1.1 目标

1.2 前置资料

二、实现

2.1 搭建流程

2.2 调试

参考

一、目标以及前置资料

1.1 目标

初步感受flink任务，从0到1快速搭建一个flink程序

1.2 前置资料

1、下载jdk：Mac 安装jdk_mac 安装jdk 1.8-CSDN博客

2、下载homebrew：打开terminal执行下面指令

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

如图：

3、下载maven：Mac 安装Maven的几种方法和操作步骤__ddz的技术博客_51CTO博客

4、下载flink：打开terminal执行下面安装指令

brew install apache-flink

查看安装位置，记下安装目录（后面用）

brew info apache-flink

二、实现

2.1 搭建流程

1、进入安装目录，输入下面指令，启动 flink 集群，集群启动以后，进入 web 页面：http://localhost:8081/

cd 到你下载的目录
./libexec/bin/start-cluster.sh

2、在你的目录下（自己选在哪个目录）构建项目，再进入项目下

curl https://flink.apache.org/q/quickstart.sh | bash -s 1.18.0
cd quickstart

查看目录结构，输入tree, 如果电脑里没有tree，就brew install tree，下载一个

再次进入，修改目录/quickstart/src/main/java/org/myorg/quickstart下文件DataStreamJob.java

cd src/main/java/org/myorg/quickstart/

3、修改DataStreamJob.java，可以用idea，可以用vi，随便，文件内容复制粘贴如下

package org.myorg.quickstart;import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
import org.apache.flink.api.common.RuntimeExecutionMode;public class DataStreamJob {public static void main(String[] args) throws Exception {StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setRuntimeMode(RuntimeExecutionMode.STREAMING);env.socketTextStream("127.0.0.1", 9888).flatMap(new LineSplitter()).keyBy(0).sum(1).print();env.execute("WordCount");}public static final class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> {@Overridepublic void flatMap(String s, Collector<Tuple2<String, Integer>> collector) {String[] tokens = s.toLowerCase().split("\\W+");for (String token : tokens) {if (token.length() > 0) {collector.collect(new Tuple2<>(token, 1));}}}}
}

上述代码使用 DataStream API 构建了一个 Flink 应用，数据源（source）为本地的 socket 端口（端口可以自己改代码，我这里是9888），经过 flatMap、keyBy、sum 三个转换操作之后，最后打印到标准输出流。整体流程如下图：