自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一角残叶的博客

人生如逆旅,我亦是行人

  • 博客(27)
  • 资源 (6)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Kafka 学习笔记(4)—— Kafka总结

1 Kafka 是什么类似JMS消息队列,结合JMS中的两种模式,可以有多个消费者主动拉取数据,在JMS中只有点对点模式才有消费者拉取数据。kafka 是一个生产-消费模型。Producer:生产者,只负责数据生产,生产者的代码可以集成到任务系统中,数据的分发策略由producer 决定,默认是 defaultPatition ,Utils.abs(key.hashCode) % numP...

2018-09-27 20:03:40 160

原创 Kafka 学习笔记(3)——kafka java API

1 新建maven 工程

2018-09-27 09:53:21 76

原创 Kafka 学习笔记(2)—— Kafka 集群安装

前提,已经在node1,node2,node3 配置了 zookeeper 集群1 将安装包上传到服务器,解压创建目录mkdir /exportmkdir /export/serverschmod 777 -R /export解压tar -zxvf kafka_2.11-2.0.0.gz -C /export/servers创建软链接[hadoop@node1 ~]$ c...

2018-09-26 11:08:39 180

原创 Kafka 学习笔记(1)—— Kafka ,JMS 介绍

1 Kafka介绍在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。KAFKA + STORM +REDISApache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标...

2018-09-25 18:44:45 599

原创 Storm 学习笔记(6)—— 自己实现 storm 流程分析

1 流程分析1.1 任务分配Task 总数;可用worker 数量。1.2 通信机制去zookeeper 获取每个组件的任务。启动不同服务nimbus,手动, java -server xx.jar main-classsupervisor 手动,java -server xx.jar main-classworker, supervisior 启动, java -s...

2018-09-25 11:53:54 63

原创 Storm 学习笔记(5)—— Storm 通信机制

Worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。Worker进程内部通信:不同worker的thread通信使用LMAX Disruptor来完成。不同topologey之间的通信,Storm不负责,需要自己想办法实现,例如使用kafka等;1 Worker进程间通信对于worker进程来说,为了...

2018-09-24 22:00:00 101

原创 Storm 学习笔记(4)—— Storm 集群任务提交流程

1 Storm 启动流程客户端运行 storm nimbus时,会调用 storm 的python脚本,该脚本为每个命令编写一个方法,每个方法都可以生成一条相应的java命令。命令格式: java -server xxx.ClassName -argsnimbus -----> Running: /export/servers/jdk/bin/java -server backty...

2018-09-22 21:38:43 607

原创 Storm 学习笔记(3)—— storm版 wordcount

1 新建maven 工程1.1 配置依赖https://search.maven.org<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://mav

2018-09-22 09:13:24 1806

原创 Storm 学习笔记(2)—— Storm 安装

1 Storm 安装部署前提安装了 zookeeper1.1 在三台机器同时创建安装目录1.2 上传安装包到 node1,解压tar -zxvf apache-storm-1.0.0.tar.gz -C /export/servers创建软链接ln -s apache-storm-1.0.0 storm1.3 配置环境变量vim /etc/profileexport STO...

2018-09-21 09:40:32 336

原创 Storm 学习笔记(1)—— 离线计算背景介绍

1 离线计算离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术:Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据2 流式计算流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、...

2018-09-20 19:15:34 357

原创 HBase学习笔记(5)——MapReduce操作Hbase

1 实现方法Hbase对MapReduce提供支持,它实现了TableMapper类和TableReducer类,我们只需要继承这两个类即可1.1 写个mapper继承TableMapper<Text, IntWritable>参数:Text:mapper的输出key类型; IntWritable:mapper的输出value类型。map(ImmutableBytesWrit...

2018-09-19 14:54:35 1979 3

原创 HBase学习笔记(4)—— hbase 原理

1 体系图

2018-09-18 17:04:20 117

原创 HBase学习笔记(3)—— hbase java API

1 hbase依赖zookeeper保存Hmaster的地址和backup-master地址管理HregionServer做增删改查表的节点管理HregionServer中的表分配保存表-ROOT-的地址 hbase默认的根表,检索表。HRegionServer列表 表的增删改查数据;和hdfs交互,存取数据。2...

2018-09-17 17:03:18 105

原创 HBase学习笔记(2)—— 常用shell 命令

1 hbase shell 命令1.1 启动和退出start-hbase.sh hbase shell quit 1.2 创建表create '表名', '列族名1','列族名2','列族名N' 1.3 查看表是否存在exists '表名'1.4 判断是否禁用启用表is_enabled '表名'is_disabled ‘表名’...

2018-09-16 09:53:02 86

原创 HBase学习笔记(1)——habse 安装

1 HBase 介绍HBASE是一个高可靠性、高性能、面向列、可伸缩(列是可以进行增删的)的分布式存储系统,利用HBASE技术可在廉价PC Server上,搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。HBASE是Google Bigtable的开源实现,但是也有很多不同之处。比如:Goog...

2018-09-14 22:18:55 97

原创 sqoop学习笔记(2)——数据导出

将数据从HDFS导出到RDBMS数据库,导出前,目标表必须存在于目标数据库中。默认操作是从将文件中的数据使用INSERT语句插入到表中。更新模式下,是生成UPDATE语句更新表数据。1 数据导出案例1.1 在mysql 新建表mysql -uroot -proot CREATE TABLE employee ( id INT NOT NULL PRIMARY...

2018-09-10 11:18:58 74

原创 sqoop学习笔记(1)—— sqoop安装 和数据导入

1 介绍sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统; 导出数据:从Hadoop的文件系统中导出数据到关系数据库 1.1 工作机制将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputfo...

2018-09-10 10:55:08 138

原创 工作流调度器azkaban笔记(2) —— 案例测试

1

2018-09-06 10:19:07 225

原创 工作流调度器azkaban笔记(1)—— azkaban 介绍,安装,测试案例

1 介绍1.1 需要工作流调度系统的原因一个完整的数据分析系统通常都是由大量任务单元组成,shell脚本程序,java程序,mapreduce程序、hive脚本等。各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;1.2 数据处理流程某个业务系统每天产生大量的原始数据,处理步骤如下所示。通过Hadoop先将原...

2018-09-05 23:07:38 681

原创 flume 学习笔记(1)

1 大数据处理系统在一个完整的大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架 2 Flume 介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件,socket数据包等各种形式源数据...

2018-09-05 19:47:11 92

原创 Hive学习笔记(7)—— hive实战 级联求和

1

2018-09-05 09:58:32 321

原创 Hive学习笔记(6)—— hive自定义函数 和 transform 的使用

1

2018-09-04 21:22:06 273

原创 Hive学习笔记(5)—— hive分桶

1 注意order by 会对输入做全局排序,因此只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。sort by不是全局排序,其在数据进入reducer前完成排序。因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1,则sort by只保证每个reducer的输出有序,不保证全局有序。distribute by(字段)根据指定的...

2018-09-04 09:30:05 118

原创 Hive学习笔记(4)—— hive练习

1 数据1.1 students.txtSno,Sname,sex,Sage,Sdept95001,李勇,男,20,CS95002,刘晨,女,19,IS95003,王敏,女,22,MA95004,张立,男,19,IS95005,刘刚,男,18,MA95006,孙庆,男,23,CS95007,易思玲,女,19,MA95008,李娜,女,18,CS95009,梦圆圆,女...

2018-09-03 16:09:57 503

原创 Hive学习笔记(3)—— hive 初次测试

1 为表建立分桶 发现并没有分桶 清空这张表 truncate table t_buck; 发现报错INFO : Number of reduce tasks is set to 0 since there's no reduce operatorINFO : number of splits:1INFO : Submitting tokens fo...

2018-09-03 11:14:17 419 1

原创 Hadoop 2.7.6 上安装 hive 2.3.0

1 安装配置mysql安装mysql2 hive2.3.0 下载hive2.3.0下载3 解压 将文件夹名字改为 hive4 配置环境变量/etc/profileexport HIVE_HOME=/home/hadoop/apps/hiveexport PATH=$PATH:$HIVE_HOME/bin命令行输入 source /etc/prof...

2018-09-02 15:11:11 2006

原创 Hive学习笔记(2)—— Hive thrift服务,分区表

1 thrift服务1.1 启动 启动为前台:bin/hiveserver21.2 连接找一个 符合thrift 协议的客户端去连接,hive 自带 beeline, 命令行输入 beeline !connect jdbc:hive2://localhost:10000 2 Hive 基本操作...

2018-09-01 09:05:33 895

针对Android的Java基础学习

针对Android的Java基础学习,介绍了关于JAVA的基础知识和各种语法。

2014-06-29

Eclipse从入门到精通

Eclipse从入门到精通,详细介绍了Eclipse的基本操作。

2014-06-29

mfc编程基础

还在为mfc 而发愁吗? 本书带你走进mfc 的世界,领略C++编程的魅力,学习mfc 编程基础的知识。

2013-12-08

matlab信号处理

matlab信号处理,方便新手对matlab的入门和学习,不过对大家的英文水平有一定的要求。

2013-12-08

Python算法(英文)

Python版数据结构

2017-05-14

Python入门书籍

Python编程

2017-05-14

一角残叶的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除