新一代大数据计算引擎 Flink从入门到实战 （12） - flink 部署和作业提交

1 flink 源码编译

• 根据 hadoop 和 scala 的版本
• 安装 JDK1.8 和 maven
  

---

mvn clean install -DskipTests -Dfast -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.14.2

2 flink onYARN 的2种方式

https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/yarn_setup.html

2.1 第一种方式

• Start a long-running Flink cluster on YARN
  

• 启动 hadoop 集群
  

---

• 运行 flink yarn-session.sh -n 1 -jm 1024m -tm 1024m
  
  

---

• 下载测试数据 wget -O LICENSE-2.0.txt http://www.apache.org/licenses/LICENSE-2.0.txt
• 把下载的数据传到 hdfs 的根目录
  

---

• 运行任务

./bin/flink run ./examples/batch/WordCount.jar \
-input hdfs://master:8020/LICENSE-2.0.txt \
-output hdfs://master:8020/wordcount-result.txt

2.2 第 2 种方式

• 杀掉第一种作业 yarn application -kill application_1601533355219_0001
  
  

---

• 运行作业 ./bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar