自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一角残叶的博客

人生如逆旅,我亦是行人

  • 博客(12)
  • 资源 (6)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Hive学习笔记(1)—— Hive 介绍 和 安装

1 Hive 介绍Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。1.1 为什么使用Hive?直接使用hadoop所面临的问题:(1)人员学习成本太高;(2)项目周期要求太短;(3)MapReduce实现复杂查询逻辑开发难度太大;操作接口采用类SQL语法,提供快速开发的能力;避免了去写MapReduce,减少开发人员的...

2018-08-31 10:42:34 545

原创 win10虚拟机搭建 Hadoop集群

1 在虚拟机安装centos7 2 安装网络工具centos7最小化安装没有 ifconfig命令 yum -y install net-tools 3 centos7 修改网卡名字为eth0修改网卡名字为eth04 修改主机名vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=n...

2018-08-21 14:51:13 1634 1

原创 MapReduce学习笔记(8)—— 网站日志处理

1 待处理的数据194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/rstudio-git3.png HTTP/1.1" 304 0 "-" "Mozilla/4.0 (compatible;)"183.49.46.228 - - [18/Sep/2013:06:49:23 +0...

2018-08-10 10:30:09 410

原创 MapReduce学习笔记(7)—— 寻找共同好友

1 数据冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的)。求出哪些人两两之间有共同好友,及他俩的共同好友都有谁?A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F...

2018-08-10 10:24:05 257

原创 MapReduce学习笔记(6)——倒排索引

1 待统计的文本数据2 源码package InverseIndex;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWri...

2018-08-09 16:58:51 95

原创 MapReduce学习笔记(5)—— Map 端 join 实现

1 订单、产品信息表

2018-08-09 15:18:39 122

原创 MapReduce学习笔记(4)—— 案例:订单、商品信息合并

1

2018-08-08 20:35:33 347

原创 MapReduce学习笔记(3)—— mapreduce程序(2)集群模式

1 集群模式将mapreduce程序提交给yarn集群resourcemanager,分发到很多的节点上并发执行;处理的数据和输出结果应该位于hdfs文件系统;提交集群的实现步骤:(1)将程序打成JAR包,然后在集群的任意一个节点上用hadoop命令启动;(2)直接在linux的eclipse中运行main方法(项目中要带参数:mapreduce.framework.name=yarn以...

2018-08-08 17:00:52 201

原创 MapReduce学习笔记(3)—— mapreduce程序本地运行模式

1 本地运行模式mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行而处理的数据及输出结果可以在本地文件系统,也可以在hdfs上实现本地运行?不要带集群的配置文件(本质是mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数)本地模式非常便于进行业务逻辑的d...

2018-08-07 21:52:39 3119

原创 MapReduce学习笔记(2)—— 流量统计(3)

1 在流量统计(1)的基础上将统计结果按照总流量倒序排序package flowsumsort;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;import...

2018-08-07 20:52:34 148

原创 MapReduce学习笔记(2)—— 流量统计(2)

1

2018-08-07 16:50:58 127

原创 MapReduce学习笔记(2)—— 流量统计(1)

1 待统计的文本flow.log1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197....

2018-08-02 17:33:17 189

针对Android的Java基础学习

针对Android的Java基础学习,介绍了关于JAVA的基础知识和各种语法。

2014-06-29

Eclipse从入门到精通

Eclipse从入门到精通,详细介绍了Eclipse的基本操作。

2014-06-29

mfc编程基础

还在为mfc 而发愁吗? 本书带你走进mfc 的世界,领略C++编程的魅力,学习mfc 编程基础的知识。

2013-12-08

matlab信号处理

matlab信号处理,方便新手对matlab的入门和学习,不过对大家的英文水平有一定的要求。

2013-12-08

Python算法(英文)

Python版数据结构

2017-05-14

Python入门书籍

Python编程

2017-05-14

一角残叶的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除