自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一角残叶的博客

人生如逆旅,我亦是行人

原创 SpringCloud 微服务架构(16)- hystrix:通过Actuator 获取 hystrix的监控数据

1 hystrix 的超时时间 在之前的案例中,请求在超过1秒后都会返回错误信息,这是因为Hystix的默认超时时长为1,我们可以通过配置修改这个值: 2 Hystrix 监控平台 当请求失败,被拒绝,超时的时候,都会进入到降级方法中。但进入降级方法并不意味着断路器已经被打开。那么如何才能了解断...

2020-10-25 11:35:29 43 0

原创 SpringCloud 微服务架构(15)- 基于 Feign的熔断配置

1 基于 Feign的熔断配置 SpringCloud Fegin默认已为Feign整合了hystrix,所以添加Feign依赖后就不用在添加hystri 1.1 案例 IProductFeignClient package com.tzb.order.feign; import co...

2020-10-24 22:56:39 33 0

原创 Redis从入门到高可用,分布式实践(10)- redis 客户端

1 java 客户端 1.1 直连 package redistest; import redis.clients.jedis.Jedis; /** * @Description TODO * @Author tzb * @Date 2020/10/18 15:45 * @Vers...

2020-10-18 16:27:54 24 0

原创 Redis从入门到高可用,分布式实践(9)- zset

1 有序集合 1.1 zset 结构 1.2 集合 vs 有序集合 1.3 列表 vs 有序集合 2 zset API 2.1 zadd 2.2 zrem 2.3 zscore 2.4 zincrby 2.5 zcard 2.6 zrange 2.7 zrangebyscor...

2020-10-18 11:09:12 25 0

原创 Redis从入门到高可用,分布式实践(8)- set

1 集合结构 1.1 特点 无序 无重复 集合间的操作 2 API 2.1 sadd,srem 2.2 scard,sismember,srandmember,smembers smembers 2.3 sdiff,sinter,sunion 2.4 小技巧 3 案例 ...

2020-10-18 10:38:21 22 0

原创 Redis从入门到高可用,分布式实践(7)- 列表

1 列表结构 1.1 特点 有序 可以重复 左右两边插入和弹出 2 API 2.1 rpush 2.2 lpush 2.3 linsert 2.4 lpop 2.5 rpop 2.6 lrem 2.7 ltrim 2.8 lrange 2.9 lindex 2....

2020-10-18 10:25:28 23 0

原创 Redis从入门到高可用,分布式实践(6)- hash

1 哈希键值结构 1.1 特点 2 API 2.1 hget,hset,hdel 2.2 hexists,hlen 2.3 hmget,hmset 2.4 hgetall,hvals,hkeys 使用 hgetall 的时候,牢记单线程 2.5 hsetnx,hincrby...

2020-10-18 10:04:03 24 0

原创 Redis从入门到高可用,分布式实践(5)- string

1 字符串键值结构 1.1 场景 缓存 分布式锁 计数器 1.2 get,set,del 1.3 incr,decr,incrby,decrby 案例:记录网站每个用户的访问量 缓存视频的基本信息(数据源在mysql) 实现分布式 id 生成器 1.4 s...

2020-10-17 23:39:57 20 0

原创 Redis从入门到高可用,分布式实践(4)- 数据结构和内部编码

1 数据结构和内部编码 1.1 redisObject 2 单线程

2020-10-17 17:22:03 19 0

原创 Redis从入门到高可用,分布式实践(3)- 通用命令

1 通用命令 1.1 keys keys 命令一般不在生产环境中使用 时间复杂度:O(n) 1.2 dbsize - 计算 key 的总数 可以在生产中使用 时间复杂度:O(1) 1.4 exists 1.5 删除指定 key-value 1.6 关于 key 过期的命令 ...

2020-10-17 17:12:06 16 0

原创 Redis从入门到高可用,分布式实践(2)- 安装和配置

1

2020-10-17 10:12:37 15 0

原创 Redis从入门到高可用,分布式实践(1)- 基础介绍

1 数据结构 2 redis 特性 2.1 速度快 2.2 持久化 2.3 多种数据结构 2.4 功能丰富 2.5 主从复制 2.6 高可用、分布式 3 典型的使用场景 3.1 缓存系统 3.2 计数器 3.3 消息队列系统

2020-10-16 23:51:16 64 0

原创 Kafka 多维度系统精讲(12)- 集群

1 集群部署 kafka 天然支持集群 kafka 集群依赖 Zookeeper 进行协调 kafka 主要通过 brokerId区分不同的节点 1.1 配置 master 节点 1.2 node1 节点 其他配置同 master 节点 1.3 启动集群 每个节点启动 zk 每个...

2020-10-13 19:41:38 34 0

原创 Kafka 多维度系统精讲(11)- stream

1 kafka stream 基本概念 2 kafka 流处理关键词

2020-10-13 10:07:12 28 0

原创 Kafka 多维度系统精讲(10)- kafka consumer(4)

1 consumer 控制 offset 起始位置 /** * 手动指定 offset 的起始位置,及手动提交 offset */ private static void controlOffset() { Properties props = new...

2020-10-12 19:47:04 30 0

原创 Kafka 多维度系统精讲(9)- kafka consumer(3)-多线程

1 Consumer 多线程并发处理 1.1 经典模式 package com.tzb.kafka.consumer; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.client...

2020-10-12 15:39:45 26 0

原创 Kafka 多维度系统精讲(8)- kafka consumer(2)

1 Consumer 单 Partition 提交 offset bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tzb-new-topic...

2020-10-12 14:38:49 25 0

原创 Kafka 多维度系统精讲(7)- kafka consumer(1)

1

2020-10-12 08:37:35 19 0

原创 Flink入门及实战(14)- Flink 状态管理

1 State 1.1 Keyed State 1.2 Operator State 1.3 状态容错 生成快照 快照恢复 2 CheckPoint 2.1 checkpoint 配置 2.2 State Backend(状态的后端存储)

2020-10-10 19:36:35 25 0

原创 新一代大数据计算引擎 Flink从入门到实战 (21) - 项目实战(7)- 完成2个流关联数据的清洗

1 完成两个流关联数据的清洗 package test.flink.scala.scalaproject import java.text.SimpleDateFormat import java.util import java.util.{Date, Properties} import ...

2020-10-05 22:41:06 54 2

原创 新一代大数据计算引擎 Flink从入门到实战 (20) - 项目实战(6)- 功能2

1 用户 id 和域名映射 create table user_domain_config( id int unsigned auto_increment, user_id varchar(50) not null, domain varchar(50) not null, primary key...

2020-10-05 18:10:10 56 1

原创 新一代大数据计算引擎 Flink从入门到实战 (19) - 项目实战(5)- 图形化展示

1 修改索引 curl -XDELETE 'http://master:9200/cdn' curl -XPUT 'http://master:9200/cdn' curl -H "Content-Type: application/json&...

2020-10-02 16:41:19 46 0

原创 新一代大数据计算引擎 Flink从入门到实战 (18) - 项目实战(4)-结果写入es

1 es 部署 nosql,存储数据 https://www.elastic.co/cn/downloads/elasticsearch 注意要使用普通用户 后台启动 2 Kibana 部署 启动 3 flink 数据 sink 到 Elastics...

2020-10-02 16:13:47 53 0

原创 新一代大数据计算引擎 Flink从入门到实战 (17) - 项目实战(3)- watermark 定义

1 为数据添加时间水印 解决数据无序问题 https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/event_timestamps_watermarks.html package test.flink.scala.sc...

2020-10-02 10:53:15 38 0

原创 新一代大数据计算引擎 Flink从入门到实战 (16) - 项目实战(2)

1 使用 flink 消费 kafka 的数据 1.1 初步接收数据 package test.flink.scala.scalaproject import java.util.Properties import org.apache.flink.api.common.serializati...

2020-10-01 23:07:44 29 0

原创 新一代大数据计算引擎 Flink从入门到实战 (15) - 项目实战(1)

1 日志统计分析 接入的数据类型就是日志 离线:Flume==>HDFS 实时:Kafka==>流处理引擎==>ES==>Kibana 项目功能 1)统计一分钟内每个域名访问产生的流量 Flink接收Kafka的进行处理 2)统计一分钟内每个用户产生的流量 域名和用户...

2020-10-01 22:41:27 48 1

原创 新一代大数据计算引擎 Flink从入门到实战 (14) -监控和调优

1 HistoryServer

2020-10-01 21:57:14 855 0

原创 新一代大数据计算引擎 Flink从入门到实战 (13) - flink scala shell

1 flink scala shell ./bin/start-scala-shell.sh local

2020-10-01 15:46:28 72 0

原创 新一代大数据计算引擎 Flink从入门到实战 (12) - flink 部署和作业提交

1 flink 源码编译 根据 hadoop 和 scala 的版本 安装 JDK1.8 和 maven mvn clean install -DskipTests -Dfast -Pvendor-repos -Dhadoop.version=2.6.0-cdh5.14.2 2 ...

2020-10-01 15:08:55 216 0

提示
确定要删除当前文章?
取消 删除