新一代大数据计算引擎 Flink从入门到实战 (12) - flink 部署和作业提交

1 flink 源码编译

  • 根据 hadoop 和 scala 的版本
  • 安装 JDK1.8 和 maven
    在这里插入图片描述

在这里插入图片描述

mvn clean install -DskipTests -Dfast -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.14.2
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2 flink onYARN 的2种方式

https://ci.apache.org/projects/flink/flink-docs-release-1.6/ops/deployment/yarn_setup.html
在这里插入图片描述

2.1 第一种方式

  • Start a long-running Flink cluster on YARN
    在这里插入图片描述

  • 启动 hadoop 集群
    在这里插入图片描述


  • 运行 flink yarn-session.sh -n 1 -jm 1024m -tm 1024m
    在这里插入图片描述
    在这里插入图片描述

  • 下载测试数据 wget -O LICENSE-2.0.txt http://www.apache.org/licenses/LICENSE-2.0.txt
  • 把下载的数据传到 hdfs 的根目录
    在这里插入图片描述

在这里插入图片描述


  • 运行任务
./bin/flink run ./examples/batch/WordCount.jar \
-input hdfs://master:8020/LICENSE-2.0.txt \
-output hdfs://master:8020/wordcount-result.txt

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 第 2 种方式

  • 杀掉第一种作业 yarn application -kill application_1601533355219_0001
    在这里插入图片描述
    在这里插入图片描述

  • 运行作业 ./bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页