新一代大数据计算引擎 Flink从入门到实战 （13） - flink scala shell

2020-10-01 15:46:28 82 收藏
分类专栏： # 新一代大数据计算引擎 Flink从入门到实战 文章标签： flink scala shell
最后发布:2020-10-01 15:46:28首次发布:2020-10-01 15:46:28
版权声明：本文为博主原创文章，遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012292754/article/details/108895289
版权

1 flink scala shell

在这里插入图片描述

  • ./bin/start-scala-shell.sh local
    在这里插入图片描述
    在这里插入图片描述
已标记关键词 清除标记
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础0012--flink分布式部署007
云星数据-http://www.cloud-star.com.cn
11-14 7197
接上文6. 验证重启成功6.1 zookeeper客户端验证 ls / ls /flink ls /flink/flink0016.2 hadoop hdfs上验证http://192.168.0.12:50070/explorer.html#/flink-metadata7. 测试jobmanager的HA1.关闭jobmanager ${FLINK_HOME}/bin/jobmanager.
表情包
插入表情
还能输入1000个字符 “速评一下”
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础008--flink分布式部署003
云星数据-http://www.cloud-star.com.cn
11-12 7525
三、flink第一个程序1.创建文件夹并上传flink的readme文件hadoop fs -mkdir -p /input/flink hadoop fs -put ${FLINK_HOME}/README.txt /input/flink/执行效果：2.打开start-scala-shell.sh${FLINK_HOME}/bin/start-scala-shell.sh是flink提供的
flink中文文档-目录v1.4
大数据技术博客
03-09 3013
Flink入门及实战-上： http://edu.51cto.com/sd/07245 Flink入门及实战-下： http://edu.51cto.com/sd/5845e flink1.4中文文档 第一次翻译文档，如果有错误之处，还望谅解，有问题可以私信或者在对应的翻译内容下面进行回复，多谢！ 相关文档快速链接目录 概念介绍(Concepts) flink原理介绍-数据流编...
flink项目开发-flink的scala shell命令行交互模式开发
大数据技术博客
03-12 3446
flink的 scala shell命令行交互模式开发 flink带有一个集成的scala shell命令行。它可以以本地方式启动来模拟集群集群。执行下面的命令就可以通过shell命令行和flink集群交互(这种方式方便于代码调试)： bin/start-scala-shell.sh local 如果想在集群上面运行scala shell，请查看本节后面的内容。 flink ...
flink集群的搭建与部署
IT晓白
01-28 8676
运行环境 linux-CentOS6.8 hadoop-2.7.5 Scala-2.11.6 jdk-1.8 flink-1.7.1-bin-hadoop27-scala_2.11.tgz flink搭建 1.下载 下载地址：http://flink.apache.org/downloads.html 根据自己集群环境的情况，下载相应的flink版本。 上面描述我的集群环境是hadoop2.7...
flink新版本没有start-local.sh
Smileyan's blog
06-10 6278
1. 编写目的 学习Apache Flink的时候，观看视频或者观看教学视频的时候，教程中在安装flink一般会教我们输入 bin/start-local.sh 。 然而，新版本的Flink是没有start-local.sh这个文件的。 2. 具体过程 想要实现相同的效果，需要输入内容如下： ## 跳转到指定文件 cd flink-1.8.0/bin ./start-scala-shell.sh...
什么是大数据开发？
大数据工程师
05-30 2559
♥️大数据开发是干什么的？ 大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据开发也应运而生。 大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data analyst这种...
Flink 入门教程
Vioao's Blog
05-21 1万+
实时流处理的应用场景 现在的社会已然进入了大数据AI时代，各行各业都有大量的数据需要处理，并希望从数据中挖掘价值。下面简单举几个例子: 物联网中各种行为结果数据的实时收集分析 金融行业中各种交易行为数据结果的实时收集分析 电商行业中用户的浏览点击等行为数据结果的实时收集分析 … 实时流处理的目标 低延迟 高吞吐 正确性 可容错(即可以中断，并可以恢复且保证exactly once) 顺序性(...
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础007--flink分布式部署002
云星数据-http://www.cloud-star.com.cn
11-12 7426
二、flink在standalone模式主节点下无HA的部署实战1.部署规划：2.配置flink-conf.yaml文件vim ${FLINK_HOME}/conf/flink-conf.yaml添加内容：在flink-conf.yaml文件中进行一些基本的配置，本此要修改的内容如下。 # The TaskManagers will try to connect to the JobManager
flink实战—使用shell终端(local模式)
zg_hover的专栏
01-21 2292
概述 本文讲述如何使用flink的scala-shell终端程序，通过该脚本可以快速上手flink，并可以对简单的flink任务进行调试和测试。类似于spark的shell终端。 本文讲述的是本地模式下的使用。 启动flink的scala-shell Flink附带了一个集成的交互式Scala Shell。它可以在本地模式和群集模式中使用。 要将shell与集成的Flink集群一起使用，只需执行：...
Flink部署-standalone模式
Xlucas的博客
11-30 4206
安装环境信息 flink-1.6.2-bin-hadoop27-scala_2.11.tgz hadoop-2.7.5 java 1.8 zookeeper 3.4.6 os:centos 6.4 1、下载 直接去flink的社区下载就可以了。http://flink.apache.org/downloads.html 2、解压 tar -zxvf flink-1.6.2-bin-hadoop...
flink实战—时间窗口(Time Windows)的原理和使用
zg_hover的专栏
02-18 2万+
概述 flink中支持多种窗口，包括：时间窗口，session窗口，count窗口等，本文简单介绍这些窗口的原理，并通过例子说明如何使用这些窗口。 时间窗口(Time Windows) 最简单常用的窗口形式是基于时间的窗口，flink支持两种时间窗口： 一种是翻滚时间窗口(tumbling time window) 一种是滑动时间窗口(sliding time window) 翻滚时间窗口(t...
Flink入门教程（一）
fanyun7654的专栏
01-22 5509
一、安装与配置 1、win10 + java1.8 + flink1.7.1本地安装。 flink可以运行在Linux、Mac OS、Windows上，安装包含单点模式、集群模式、flink on yarn模式、flink on k8s等模式，flink是基于jvm进行操作。这里我们选择Windows10 + java1.8 + flink1.7.1， 安装部署为本地模式。 官网下载地址 h...
大数据学习路线及全套视频教程
weixin_35791555的博客
10-25 1万+
大数据不是某个专业或一门编程语言，实际上它是一系列技术的组合运用。有人通过下方的等式给出了大数据的定义。   大数据 = 编程技巧 + 数据结构和算法 + 分析能力 + 数据库技能 + 数学 + 机器学习 + NLP + OS + 密码学 + 并行编程。虽然这个等式看起来很长，需要学习的东西很多，但付出和汇报是成正比的，至少和薪资是成正比的。 有这么多知识需要学习，那么该怎么学？如何学？ ...
Flink入门及实战(上+下)
kkwant的博客
07-17 1927
Flink入门及实战(上) 1-1 课件资料下载: 1-2　Flink基本原理及应用场景分析.mp4 1-3　Flink vs storm vs SparkStream.mp4 2-1　Flink案例开发需求分析.mp4 2-2 滑动窗口单词计数-java代码实现.mp4 2-3　滑动窗口单词计数-scala代码实现.mp4 3-1　batch批处理-java代码实现.mp4 3-2　ba...
大数据及大数据框架
仁鱼的博客
04-25 5035
信息产业（IT）发展至今，计算要的主要工作之一就是处理各种类型和各种来源的数据。大数据（BigData)是一种规模庞大的数据集合，一般单台计算机的能力范围无法对数据集进行获取、存储、管理和分析。因此大数据又和云计算和分布式集群密不可分。大数据是互联网发展至今一个时代的产物。所以并没有什么神密和复杂之处。IBM曾提出大数据的5大特性（5V特性），即Volume（大量）、Velocity（高速）、Va...
Flink读取kafka数据并以parquet格式写入HDFS
03-31 4186
大数据业务场景中，经常有一种场景：外部数据发送到kafka中，flink作为中间件消费kafka数据并进行业务处理；处理完成之后的数据可能还需要写入到数据库或者文件系统中，比如写入hdfs中； 目前基于spark进行计算比较主流，需要读取hdfs上的数据，可以通过读取parquet：spark.read.parquet(path) 数据实体： public class Prti { ...
Flink入门之Standalone模式集群伪分布式搭建
吟啸徐行
03-22 3666
  1：首先配置Java相关环境以及Flink下载，解压就不说了。 2：接下来看看Flink的conf的配置文件：                                                   这里面需要我们配置的有：slaves和flink-conf.yaml文件，这里面masters文件是用来配置HA的，只要我们不配置HA的话，就不需要配置masters文件（fl...
Flink on Zeppelin (1) - 入门篇
Ververica的博客
02-07 3996
Flink 在国内阿里巴巴的带领下发展的如火如荼。一直有人在 Zeppelin 社区问能否在 Zeppelin 里使用 Flink。现在终于有了进展了，从 Zeppelin 0.9 开始...
jd抢购茅台脚本文件
01-04
抢购茅台抢购茅台抢购茅台
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页