自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一角残叶的博客

人生如逆旅,我亦是行人

原创 新一代大数据计算引擎 Flink从入门到实战 (11)- 整合 kafka 的 offset 管理和exactly once语义

1 checkpoint sink 和 source 都可以使用

2020-09-30 20:51:09 33 0

原创 新一代大数据计算引擎 Flink从入门到实战 (10)- Connectors

1 Connectors https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/connectors/ 1.1 hadoop <dependency> <groupId>org.apache.f...

2020-09-30 20:40:54 71 0

原创 新一代大数据计算引擎 Flink从入门到实战 (9)- Time 和 Window

1 Time https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/event_time.html 2 window https://ci.apache.org/projects/flink/flink-docs-rele...

2020-09-30 14:21:54 31 0

原创 新一代大数据计算引擎 Flink从入门到实战 (8)- Table API 和 SQL

1 Table API 和 SQL https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/table/ <dependency> <groupId>org.apache.flink</gro...

2020-09-30 10:34:17 36 0

原创 新一代大数据计算引擎 Flink从入门到实战 (7)- DataStream API (2)

1 map package com.imooc.flink.java.demo5; import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.api.common.functions....

2020-09-30 09:33:30 29 0

原创 新一代大数据计算引擎 Flink从入门到实战 (6)- DataStream API (1)

1 DataStream API 1.1 自定义数据源 无并行度的数据源 package com.imooc.flink.java.demo5; import org.apache.flink.streaming.api.functions.source.SourceFunction; i...

2020-09-29 19:26:20 26 0

原创 新一代大数据计算引擎 Flink从入门到实战 (5)- DataSet API 计数器

1 计数器 并行度为1 package test.flink.scala import org.apache.flink.api.common.functions.RichMapFunction import org.apache.flink.api.scala.{ExecutionEnv...

2020-09-29 16:51:03 36 0

原创 新一代大数据计算引擎 Flink从入门到实战 (4)- DataSet API (2)

1 join public static void joinFunction(ExecutionEnvironment env) throws Exception { List<Tuple2<Integer, String>> info1 = new ...

2020-09-29 15:54:54 28 0

原创 新一代大数据计算引擎 Flink从入门到实战 (3)- DataSet API (1)

1 DataSet 和 DataStream 不可变 所有 flink 程序都是延迟执行

2020-09-29 15:26:23 37 0

原创 新一代大数据计算引擎 Flink从入门到实战 (2)- 流处理案例

1 流处理案例 package com.imooc.flink.java.demo2; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.tuple.Tup...

2020-09-29 11:01:40 47 0

原创 新一代大数据计算引擎 Flink从入门到实战 (1)- 批处理案例

1

2020-09-29 10:39:09 56 0

原创 Flink入门及实战(23)- 提交集群

1 提交集群 1.1 修改并行度 修改获取 kafka 中数据的并行度,和 kafka 设置为相同 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --...

2020-09-29 09:24:52 29 0

原创 Flink入门及实战(22)- 数据清洗实时ETL(3)

1 kafka 生产者 1.1 父pom <build> <!--编译插件--> <plugins> <plugin> <groupId>org.a...

2020-09-28 19:54:04 71 0

原创 Flink入门及实战(21)- 数据清洗实时ETL(2)

1 编写自定义的 redis 数据源 在父pom添加依赖 <!-- https://mvnrepository.com/artifact/redis.clients/jedis --> <dependency> ...

2020-09-28 17:11:12 58 0

原创 Flink入门及实战(20)- 数据清洗实时ETL(1)

1 数据清洗 1.1 采集日志 方法1:埋点 方法2:日志写到本地,然后 flume 采集 1.2 需求分析

2020-09-28 14:02:36 86 0

原创 Flink入门及实战(19)- flink生产环境配置

1 flink 生产环境配置

2020-09-27 22:34:25 38 0

原创 Flink入门及实战(18)- kafka

1 kafka-connector 1.1 Kafka consumer 消费策略设置 1.2 kafka consumer 容错 1.3 动态加载 topic 1.4 kafka consumer offset 自动提交 2 kafka producer 3 案例 kafka 版...

2020-09-27 22:25:27 53 0

原创 Flink入门及实战(17)- Flink 并行度分析

1 TaskManager 与 slot 1.1 并行度-Parallel 2 并行度设置 2.1 Operator level 2.2 执行环境层次 2.3 客户端设置 2.4 系统层次

2020-09-27 16:45:21 27 0

原创 Flink入门及实战(16)- Flink Time

1 Time 1.1 Time 案例 Event Time 1.2 设置 Time 类型 2 EventTime 和 Watermarks 2.1 有序流的 watermarks 2.2 无序流的 watermarks 2.3 多并行度流的 watermarks 2.4 ...

2020-09-27 16:08:25 27 0

原创 Flink入门及实战(15)- Flink Window

1 window 1.1 window 类型 针对以上每一种 window,有可以分为 1.1.1 滚动窗口 1.1.2 滑动窗口 1.2 TimeWindow 应用 1.3 CountWindow 的应用 2 window 聚合分类 2.1 增量聚合 package ...

2020-09-27 15:16:04 64 0

原创 Kafka 多维度系统精讲(6)- kafka producer集成

1 CA证书申请和域名绑定

2020-09-25 21:22:02 26 0

原创 Kafka 多维度系统精讲(5)-微信小程序(2)

1 application.yml server: port: 8080 template: templates: - { "templateId": "1","templateFilePath": &q...

2020-09-24 23:14:39 25 0

原创 Kafka 多维度系统精讲(4)-微信小程序(1)

1 微信小程序 预定义小程序作用并开发后端服务 后端服务增加 HTTPS 支持 注册个人小程序并发布前端服务

2020-09-24 23:00:50 43 0

原创 Kafka 多维度系统精讲(3)- 生产者

1 Producer 发送模式 同步 异步 异步回调 1.1 异步发送 bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic tzb-new-topic --from-beginning public cla...

2020-09-23 20:11:35 25 0

原创 Kafka 多维度系统精讲(2)- 客户端操作

1 Kafka API 类型 1.1 新建 spring boot 项目 <dependency> <groupId>org.springframework.boot</groupId> <artif...

2020-09-23 18:46:26 33 0

原创 VS Code(8)- 终端模拟器

1

2020-09-23 09:17:13 428 0

原创 Docker 核心技术(10)- 自定义镜像 tomcat9

1 自定义镜像 tomcat9 FROM centos MAINTAINER tzb<111@qq.com> # 把宿主机当前目录下的 c.txt 拷贝到 /usr/local/ 路径下 COPY c.txt /usr/local/cincontainer.txt # 解压缩后拷...

2020-09-22 18:29:30 39 0

原创 Docker 核心技术(9)- 自定义镜像 centos

1 自定义镜像 centos 1.1 Base 镜像(scratch) 1.2 编写 Dockerfile FROM centos MAINTAINER tzb<1111@qq.com> ENV MYPATH /root WORKDIR $MYPATH RUN yum -y...

2020-09-21 18:17:41 36 0

原创 Docker 核心技术(8)- Dockerfile及保留字指令

1 Dockerfile 构建 Docker 镜像的构建文件,是由一系列命令和参数构成的脚本。 1.1 centos Dockerfile FROM scratch ADD centos-7-x86_64-docker.tar.xz / LABEL \ org.label-schema...

2020-09-21 14:56:47 26 0

原创 Docker 核心技术(7)- 数据卷用 DockFile添加

1 DockFile 1.1 新建 DockFile 文件 # volume test FROM centos VOLUME ["/root/dataVolumeContainer1","/root/dataVolumeContainer2"] CM...

2020-09-21 14:21:22 21 0

原创 Docker 核心技术(6)- 容器数据卷

1 容器数据卷 容器数据持久化 容器间的继承 + 共享数据 2 容器内添加数据卷 2.1 直接命令添加 docker run -it -v /宿主机绝对路径目录:/容器内目录 镜像名 2.1.1 查看数据卷是否挂载成功 以 json 字符串的方式查看容器信息 2.1....

2020-09-21 10:50:47 22 0

原创 Docker 核心技术(5)- 镜像原理

1 镜像 1.1 联合文件系统 1.2 Docker 镜像加载原理 一层层下载 1.3 为何采用这种分层结构 2 镜像 commit 2.1 案例 下载 tomcat 镜像并运行

2020-09-21 09:08:08 17 0

原创 Docker 核心技术(4)- 容器命令(下)

1 容器命令 1.1 后台运行 1.2 查看容器日志 1.3 查看容器内运行的进程 1.4 查看容器内部的细节 docker inspect 容器ID

2020-09-20 22:38:04 15 0

原创 Docker 核心技术(3)- 容器命令(上)

1 容器命令 1.1 下载 centos 镜像 有镜像才能创建容器 ** ** 1.2 新建并启动容器 1.3 列出当前所有的正在运行的容器 1.4 退出容器 给定名字启动容器 容器不停止退出 ctrl + p +q 1.5 启动容器 1.6 重启容器 1...

2020-09-20 18:31:28 16 0

原创 Docker 核心技术(2)- helloworld 镜像

1 helloworld镜像 2 docker 运行底层原理 2.1 docker 为什么比 VM 快 3 Docker 常用命令 3.1 帮助命令 docker verison docker info docker help 3.2 镜像命令 3.2.1 列出本地的镜像 d...

2020-09-20 17:51:11 30 0

原创 Docker 核心技术(1)- docker 介绍和安装

1 Docker 介绍 1.1

2020-09-20 16:50:54 28 0

原创 SpringCloud 微服务架构(14)- 基于 RestTemplate的熔断配置

1 基于 RestTemplate的熔断配置 1.1 案例 appliation.yml server: port: 8083 spring: application: name: service-order #服务名称 datasource: ...

2020-09-17 21:48:23 70 0

原创 SpringCloud 微服务架构(13)- 服务容错核心知识

1 雪崩效应 在微服务架构中,一个请求需要调用多个服务是非常常见的。如客户端访问A服务,而A服务需要调用B服务,B服务需要调用C服务,由于网络原因或者自身的原因,如果B服务或者C服务不能及时响应,A服务将处于阻塞状态,直到B服务C服务响应。此时若有大量的请求涌入,容器的线程资源会被消耗完毕,导致服...

2020-09-17 21:01:44 24 0

原创 SpringCloud 微服务架构(12)- 线程池隔离的方式处理请求积压

1 线程池隔离的方式处理请求积压 Order 模块 <dependency> <groupId>com.netflix.hystrix</groupId> <artifactId>hystrix-metrics-event-st...

2020-09-14 23:06:22 94 0

原创 SpringCloud 微服务架构(11)- jmetter 模拟高负载

1 jmetter 模拟高负载 此时,浏览器再去访问订单服务,发现数据加载缓慢

2020-09-14 22:49:44 22 0

提示
确定要删除当前文章?
取消 删除