自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一角残叶的博客

人生如逆旅,我亦是行人

  • 博客(96)
  • 资源 (6)
  • 论坛 (1)
  • 收藏
  • 关注

原创 新一代大数据计算引擎 Flink从入门到实战 (11)- 整合 kafka 的 offset 管理和exactly once语义

1 checkpointsink 和 source 都可以使用

2020-09-30 20:51:09 45

原创 新一代大数据计算引擎 Flink从入门到实战 (10)- Connectors

1 Connectorshttps://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/connectors/1.1 hadoop<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-filesystem_2.11</artifactId> <version

2020-09-30 20:40:54 106

原创 新一代大数据计算引擎 Flink从入门到实战 (9)- Time 和 Window

1 Timehttps://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/event_time.html2 windowhttps://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/operators/windows.html2.1 案例滚动窗口package com.imooc.flink.java.windowtest;import o

2020-09-30 14:21:54 63

原创 新一代大数据计算引擎 Flink从入门到实战 (8)- Table API 和 SQL

1 Table API 和 SQLhttps://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/table/<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table_2.11</artifactId> <version>1.6.1</version>&lt

2020-09-30 10:34:17 69

原创 新一代大数据计算引擎 Flink从入门到实战 (7)- DataStream API (2)

1 mappackage com.imooc.flink.java.demo5;import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.str

2020-09-30 09:33:30 57

原创 新一代大数据计算引擎 Flink从入门到实战 (6)- DataStream API (1)

1 DataStream API1.1 自定义数据源无并行度的数据源package com.imooc.flink.java.demo5;import org.apache.flink.streaming.api.functions.source.SourceFunction;import java.time.Period;/** * @Description TODO * @Author tzb * @Date 2020/9/29 17:03 * @Version 1.0

2020-09-29 19:26:20 53

原创 新一代大数据计算引擎 Flink从入门到实战 (5)- DataSet API 计数器

1 计数器并行度为1package test.flink.scalaimport org.apache.flink.api.common.functions.RichMapFunctionimport org.apache.flink.api.scala.{ExecutionEnvironment, createTypeInformation}object CounterApp { def main(args: Array[String]): Unit = {

2020-09-29 16:51:03 55

原创 新一代大数据计算引擎 Flink从入门到实战 (4)- DataSet API (2)

1 join public static void joinFunction(ExecutionEnvironment env) throws Exception { List<Tuple2<Integer, String>> info1 = new ArrayList<>(); info1.add(new Tuple2(1, "Hadoop")); info1.add(new Tuple2(2, "Flink"));

2020-09-29 15:54:54 45

原创 新一代大数据计算引擎 Flink从入门到实战 (3)- DataSet API (1)

1 DataSet 和 DataStream不可变所有 flink 程序都是延迟执行

2020-09-29 15:26:23 78

原创 新一代大数据计算引擎 Flink从入门到实战 (2)- 流处理案例

1 流处理案例package com.imooc.flink.java.demo2;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.a

2020-09-29 11:01:40 95

原创 新一代大数据计算引擎 Flink从入门到实战 (1)- 批处理案例

1

2020-09-29 10:39:09 170

原创 Flink入门及实战(23)- 提交集群

1 提交集群1.1 修改并行度修改获取 kafka 中数据的并行度,和 kafka 设置为相同bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 5 --topic allData1.2 修改依赖1.3 打包2 测试2.1 启动 zookeeper2.2 启动 kafkabin/kafka-server-start.sh config/s

2020-09-29 09:24:52 45

原创 Flink入门及实战(22)- 数据清洗实时ETL(3)

1 kafka 生产者1.1 父pom <build> <!--编译插件--> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId&

2020-09-28 19:54:04 307 4

原创 Flink入门及实战(21)- 数据清洗实时ETL(2)

1 编写自定义的 redis 数据源在父pom添加依赖<!-- https://mvnrepository.com/artifact/redis.clients/jedis --> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId>

2020-09-28 17:11:12 161

原创 Flink入门及实战(20)- 数据清洗实时ETL(1)

1 数据清洗1.1 采集日志方法1:埋点方法2:日志写到本地,然后 flume 采集1.2 需求分析

2020-09-28 14:02:36 372

原创 Flink入门及实战(19)- flink生产环境配置

1 flink 生产环境配置

2020-09-27 22:34:25 141

原创 Flink入门及实战(18)- kafka

1 kafka-connector1.1 Kafka consumer 消费策略设置1.2 kafka consumer 容错1.3 动态加载 topic1.4 kafka consumer offset 自动提交2 kafka producer3 案例kafka 版本 : 0.11 <dependency> <groupId>org.apache.flink</groupId> <a

2020-09-27 22:25:27 184

原创 Flink入门及实战(17)- Flink 并行度分析

1 TaskManager 与 slot1.1 并行度-Parallel2 并行度设置2.1 Operator level2.2 执行环境层次2.3 客户端设置2.4 系统层次

2020-09-27 16:45:21 73

原创 Flink入门及实战(16)- Flink Time

1 Time1.1 Time 案例Event Time1.2 设置 Time 类型2 EventTime 和 Watermarks2.1 有序流的 watermarks2.2 无序流的 watermarks2.3 多并行度流的 watermarks2.4 watermarks 的生成方式

2020-09-27 16:08:25 48

原创 Flink入门及实战(15)- Flink Window

1 window1.1 window 类型针对以上每一种 window,有可以分为1.1.1 滚动窗口1.1.2 滑动窗口1.2 TimeWindow 应用1.3 CountWindow 的应用2 window 聚合分类2.1 增量聚合package com.tzb.streaming;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.c

2020-09-27 15:16:04 97

原创 Kafka 多维度系统精讲(6)- kafka producer集成

1 CA证书申请和域名绑定

2020-09-25 21:22:02 56

原创 Kafka 多维度系统精讲(5)-微信小程序(2)

1 application.ymlserver: port: 8080template: templates: - { "templateId": "1","templateFilePath": "D:/Data/JavaProject/kafka-springboot/src/main/resources/template/template.json","active": true } - { "templateId": "2","templateFi

2020-09-24 23:14:39 46

原创 Kafka 多维度系统精讲(4)-微信小程序(1)

1 微信小程序预定义小程序作用并开发后端服务后端服务增加 HTTPS 支持注册个人小程序并发布前端服务

2020-09-24 23:00:50 85

原创 Kafka 多维度系统精讲(3)- 生产者

1 Producer 发送模式同步异步异步回调1.1 异步发送bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic tzb-new-topic --from-beginningpublic class ProducerSample { public final static String TOPIC_NAME = "tzb-new-topic"; public static void m

2020-09-23 20:11:35 63

原创 Kafka 多维度系统精讲(2)- 客户端操作

1 Kafka API 类型1.1 新建 spring boot 项目<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <!-- https://mv

2020-09-23 18:46:26 50

原创 VS Code(8)- 终端模拟器

1

2020-09-23 09:17:13 530

原创 Docker 核心技术(10)- 自定义镜像 tomcat9

1 自定义镜像 tomcat9FROM centosMAINTAINER tzb<111@qq.com># 把宿主机当前目录下的 c.txt 拷贝到 /usr/local/ 路径下COPY c.txt /usr/local/cincontainer.txt# 解压缩后拷贝ADD jdk-8u202-linux-x64.tar.gz /usr/localADD apache-tomcat-9.0.38.tar.gz /usr/localRUN yum -y install v

2020-09-22 18:29:30 75

原创 Docker 核心技术(9)- 自定义镜像 centos

1 自定义镜像 centos1.1 Base 镜像(scratch)1.2 编写 DockerfileFROM centosMAINTAINER tzb<1111@qq.com>ENV MYPATH /rootWORKDIR $MYPATHRUN yum -y install vimRUN yum -y install net-toolsEXPOSE 80CMD echo $MYPATHCMD echo "success...................

2020-09-21 18:17:41 55

原创 Docker 核心技术(8)- Dockerfile及保留字指令

1 Dockerfile构建 Docker 镜像的构建文件,是由一系列命令和参数构成的脚本。1.1 centos DockerfileFROM scratchADD centos-7-x86_64-docker.tar.xz /LABEL \ org.label-schema.schema-version="1.0" \ org.label-schema.name="CentOS Base Image" \ org.label-schema.vendor="CentOS

2020-09-21 14:56:47 39

原创 Docker 核心技术(7)- 数据卷用 DockFile添加

1 DockFile1.1 新建 DockFile 文件# volume testFROM centosVOLUME ["/root/dataVolumeContainer1","/root/dataVolumeContainer2"]CMD echo "finshed,................success1"CMD /bin/bash1.2 dock buildrun 容器2 数据卷容器命名的容器挂载数据卷,其他容器通过挂载这个(父容器)实

2020-09-21 14:21:22 55

原创 Docker 核心技术(6)- 容器数据卷

1 容器数据卷容器数据持久化容器间的继承 + 共享数据2 容器内添加数据卷2.1 直接命令添加docker run -it -v /宿主机绝对路径目录:/容器内目录 镜像名2.1.1 查看数据卷是否挂载成功以 json 字符串的方式查看容器信息2.1.2 容器和宿主机之间数据共享主机新一个文件进入容器中查看2.1.3 容器停止退出,主机修改后数据是否同步(完全同步)关闭容器主机更新数据启动容器重新进入

2020-09-21 10:50:47 29

原创 Docker 核心技术(5)- 镜像原理

1 镜像1.1 联合文件系统1.2 Docker 镜像加载原理一层层下载1.3 为何采用这种分层结构2 镜像 commit2.1 案例下载 tomcat 镜像并运行

2020-09-21 09:08:08 36

原创 Docker 核心技术(4)- 容器命令(下)

1 容器命令1.1 后台运行1.2 查看容器日志1.3 查看容器内运行的进程1.4 查看容器内部的细节docker inspect 容器ID

2020-09-20 22:38:04 23

原创 Docker 核心技术(3)- 容器命令(上)

1 容器命令1.1 下载 centos 镜像有镜像才能创建容器****1.2 新建并启动容器1.3 列出当前所有的正在运行的容器1.4 退出容器给定名字启动容器容器不停止退出 ctrl + p +q1.5 启动容器1.6 重启容器1.7 停止容器1.8 强制停止容器1.9 删除已经停止的容器显示最近创建的容器1.9.1 一次性删除多个容器...

2020-09-20 18:31:28 30

原创 Docker 核心技术(2)- helloworld 镜像

1 helloworld镜像2 docker 运行底层原理2.1 docker 为什么比 VM 快3 Docker 常用命令3.1 帮助命令docker verisondocker infodocker help3.2 镜像命令3.2.1 列出本地的镜像docker images3.2.2 查找镜像3.2.3 拉取镜像3.2.4 删除镜像...

2020-09-20 17:51:11 51

原创 Docker 核心技术(1)- docker 介绍和安装

1 Docker 介绍1.1

2020-09-20 16:50:54 51

原创 SpringCloud 微服务架构(14)- 基于 RestTemplate的熔断配置

1 基于 RestTemplate的熔断配置1.1 案例appliation.ymlserver: port: 8083spring: application: name: service-order #服务名称 datasource: driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3306/springcloud_shop?us

2020-09-17 21:48:23 272

原创 SpringCloud 微服务架构(13)- 服务容错核心知识

1 雪崩效应在微服务架构中,一个请求需要调用多个服务是非常常见的。如客户端访问A服务,而A服务需要调用B服务,B服务需要调用C服务,由于网络原因或者自身的原因,如果B服务或者C服务不能及时响应,A服务将处于阻塞状态,直到B服务C服务响应。此时若有大量的请求涌入,容器的线程资源会被消耗完毕,导致服务瘫痪。服务与服务之间的依赖性,故障会传播,造成连锁反应,会对整个微服务系统造成灾难性的严重后果,这就是服务故障的“雪崩”效应。雪崩是系统中的蝴蝶效应导致其发生的原因多种多样,有不合理的容量设计,或者是高并发下某

2020-09-17 21:01:44 37

原创 SpringCloud 微服务架构(12)- 线程池隔离的方式处理请求积压

1 线程池隔离的方式处理请求积压Order 模块<dependency> <groupId>com.netflix.hystrix</groupId> <artifactId>hystrix-metrics-event-stream</artifactId> <version>1.5.12</version></dependency><dependency>

2020-09-14 23:06:22 411

原创 SpringCloud 微服务架构(11)- jmetter 模拟高负载

1 jmetter 模拟高负载此时,浏览器再去访问订单服务,发现数据加载缓慢

2020-09-14 22:49:44 32

Python算法(英文)

Python版数据结构

2017-05-14

针对Android的Java基础学习

针对Android的Java基础学习,介绍了关于JAVA的基础知识和各种语法。

2014-06-29

Eclipse从入门到精通

Eclipse从入门到精通,详细介绍了Eclipse的基本操作。

2014-06-29

matlab信号处理

matlab信号处理,方便新手对matlab的入门和学习,不过对大家的英文水平有一定的要求。

2013-12-08

Python入门书籍

Python编程

2017-05-14

mfc编程基础

还在为mfc 而发愁吗? 本书带你走进mfc 的世界,领略C++编程的魅力,学习mfc 编程基础的知识。

2013-12-08

一角残叶的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除