我也要用- 博客(25)
- 资源 (6)
- 论坛 (1)
- 收藏
- 关注
RSS订阅原创 MapReduce学习笔记（1）——字符统计
1 MapReduce 介绍Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；1.1 使用 MapReduce 原因海量数据在单机上处理因为硬件资源限制，无法胜任；而一旦将单机版程序扩展到集...
2018-07-31 10:19:43
197
原创 centos7-64bit 编译 hadoop2.7.6 源码
1 安装并配置JDK1.8环境变量2 安装maven 解压到 usr/apps 配置环境变量 /etc/profileexport MAVEN_HOME=/usr/apps/apache-maven-3.5.4export PATH=$MAVEN_HOME/bin:$PATH3 安装 findbugs1.3.9 配置环境变量/etc/profile...
2018-07-30 10:26:40
671
原创 Hadoop学习笔记（6）—— java API 操作 hdfs（2）
1 用流的方式上传文件package com.tzb.hdfs;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileS...
2018-07-26 16:07:23
91
原创 Hadoop学习笔记（5）—— HDFS介绍
1 HDFS 概念它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；1.1 介绍HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode)NameNode负责管理整个文件系统的元数据DataNode 负责管理用户的文件数据块文件会按...
2018-07-24 09:27:10
95
原创 Hadoop学习笔记（3）——win7 64位下编译 Hadoop 2.6.7源码
1 解压源码这里解压到了H盘，并且重命名，H:\hdp2 安装Microsoft Windows SDK 7下载地址：
2018-07-18 20:07:30
272
原创 Hadoop学习笔记（2）—— hdfs 和mapreduce 测试
1 hdfs 体验1.1 查询 hdfs 1.2 上传文件 http://192.168.154.131:50070/explorer.html#/ 2 mapreduce 体验2.1 启动 yarn 新建一个 a.txt ，内容如下
2018-07-17 20:49:57
101
原创 Hadoop学习笔记（1）——Hadoop 集群搭建
1 Hadoop介绍HADOOP是apache旗下的一套开源软件平台HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有 A. HDFS（分布式文件系统） B. YARN（运算资源调度系统） C. MAPREDUCE（分布式运算编程框架）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈...
2018-07-17 16:42:55
160
原创 jvm 技术
1 内存模型Java虚拟机在执行Java程序的过程中，会把它所管理的内存划分为若干个不同的数据区。这些区域有各自的用途，以及创建和销毁的时间，有的区域随着虚拟机进程的启动而存在，有的区域则依赖用户线程的启动和结束而建立和销毁，我们可以将这些区域统称为Java运行时数据区域。 Java虚拟机运行时数据区域被分为五个区域：堆(Heap)、栈(Stack)、本地方法栈(Native Stack)、...
2018-07-15 12:13:12
78
原创 Java NIO
1 RPC介绍RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC采用客...
2018-07-14 21:39:21
66
原创 Java反射
1 Class 类在java中，静态的成员和普通数据类型不是对象。类是 java.lang.Class的实例对象package com.tzb.reflect;public class ClaasDemo1 { public static void main(String[] args) { //Foo 的实例对象 Foo foo1 = ...
2018-07-14 17:18:13
53
原创 JMS 技术
1 JMS 介绍JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。 JMS是一种与厂商无关的 API，用来访问消息收发系统消息。它类似于JDBC(Java D...
2018-07-14 10:58:24
245
原创 java 多线程(2)——并发包
1 java并发包介绍JDK5.0 以后的版本都引入了高级并发特性，大多数的特性在java.util.concurrent 包中，是专门用于多线程发编程的，充分利用了现代多处理器和多核心系统的功能以编写大规模并发应用程序。主要包含原子量、并发集合、同步器、可重入锁，并对线程池的构造提供了强力的支持。2 线程池线程池的5中创建方式 1. Single Thread Executor:...
2018-07-13 23:22:33
294
原创 java 多线程(1)
1 线程实现的两种方式1.1 继承 Threadpackage testThread;import java.util.Random;public class MyThreadWithExtends extends Thread { private String flag; public MyThreadWithExtends(String flag){ ...
2018-07-13 15:41:03
75
原创 Zookeeer笔记（5）——分布式应用系统服务器上下线动态感知程序开发
1 客户端能实时洞察服务器上下线的情况2 服务端程序//DistributedServer.javapackage demo2;import org.apache.zookeeper.*;import java.io.IOException;public class DistributedServer { private ZooKeeper zk = nul...
2018-07-12 08:35:52
89
原创 Zookeeper笔记（2）——命令行客户端和znode数据结构类型监听
1 Zookeeper 结构和特性1.1 特性一个leader，多个follower组成的集群全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的分布式读写，更新请求转发，由leader实施更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行数据更新原子性，一次数据更新要么成功，要么失败实时性，在一定...
2018-07-09 22:40:57
97
原创 Zookeeper笔记（1）——zookeeper的安装与配置
1 介绍Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务。zookeeper是为别的分布式程序服务的；zookeeper本身就是一个分布式程序（只要有半数以上节点存活，就能正常服务）;Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式...
2018-07-09 08:28:40
384
原创 SSH免密登录设置
1 SSH远程登录协议两种身份验证机制用户名 + 密码；密钥验证2 配置免密登录2.1 生成密钥对一路按回车键 产看密钥对 2.2 拷贝公钥给免密登录的对象...
2018-07-08 21:47:59
121
原创 Linux学习（4）——高级命令行文本处理工具（cut,sed,awk）
1 cut从一个文本文件或者文本流中提取文本列。1.1 cut语法cut -d'分隔字符' -f fields <==用于有特定分隔字符cut -c 字符区间 <==用于排列整齐的信息选项与参数：-d ：后面接分隔字符。与 -f 一起使用；-f ：依据 -d 的分隔字符将一段信息分割成为数段，用 -f 取出第几段的意思；-c ：以字...
2018-07-04 10:08:28
188
原创 Linux学习（3）——shell
1 shell 中的变量分为系统变量，用户自定义变量，可以通过set命令查看系统变量系统变量：$HOME,$PWD,$SHELL,$USER # 2 定义变量
2018-07-03 21:53:22
67
原创 Linux学习（2）—— 防火墙
1 查看帮助iptables -hman iptables2 查看规则iptables -L -niptables -L -n --line-numbers,列出规则并显示行号列出 iptables nat 表规则（默认filter表），iptables -L -n -t nat3 清除规则默认是filter 表，如果对 nat 表操作要加 -t nat - i...
2018-07-02 10:07:22
71
原创 Linux学习（1）
1 常用命令1.1 日常操作命令pwd,查看当前所在目录date,产看当前系统时间who,查看当前在线last,查看最近的登录历史1.2 文件系统ls / ,查看根目录下的子节点（文件夹和文件）信息ls -al,-a 是显示隐藏的文件，-l 是以更详细的列表形式mkdir aaa,mkdir -p aaa/bbb/ccc,创建文件夹（相对路径写法）mkdir ...
2018-07-02 09:25:56
81
一角残叶的留言板
发表于 2020-01-02 最后回复 2020-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝