一文读懂hadoop

初始大数据

什么是大数据？

1
2
3
大数据是一个概念也是一门技术，是在以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。
大数据包括了以Hadoop和Spark为代表的基础大数据框架。
还包括实时数据处理、离线数据处理；数据分析，数据挖掘和用机器算法进行预测分析等技术。

学习基础要求

1
2
3
会 Linux 常用命令
有一定的 Python 或者 Java 编程基础
对 Hadoop 有一定的了解，可以搭建自己的测试环境

Hadoop 的功能和优势

hadoop 是开源的、分布式存储、分布式计算平台，可以用来搭建大型数据仓库,PB级数据的存储、处理、分析、统计等业务

Hadoop包括两个核心组成:

• HDFS:分布式文件系统,存储海量的数据
• MapReduce:并行处理框架,实现任务分解和调度

相关开源工具：

• hbase 放弃了事务的特性，追求更高的扩展，提供了数据的随机读写和实时访问，实现对表数据的读写功能
• zookeeper 监控 hadoop 每个节点的状态，管理集群配置，维护节点间数据的一致性。
• hive 将简单的 sql 语句转化为 hadoop 任务，降低使用 hadoop 的门槛

Hadoop 安装

1
2
3
1. 准备Linux环境
2. 安装JDK Java编写
3. 配置Hadoop

hadoop安装及配置：

1. 下载hdoop安装包并进行解压
2. 配置hdoop-env.sh文件，目的是配置jdk，并在profile配置haddoop的安装位置
3. export JAVA_HOME=安装好的JDK(配置的JAVA_HOME)
4. export HADOOP_HOME=/opt/hadoop-1.2.1
5. export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
6. 配置core-site.xml文件：hdoop的核心文件，里面有关于hdoop的节点端口与主机端口

1
2
3
4
5
6
7
8
9
10
11
12
<configuration>
<propery>
<name>hadoop.tmp.dir</name> 
<value>/hadoop</value> <!-- 工作目录 -->
</propery>
<name>dfs.name.dir</name>
<value>/hadoop/name</value> <!-- 所有元数据的目录 -->
<propery>
<name>fs.default.name</name>
<value>hdfs://imooc:9000</value> <!-- 表示文件系统如何访问 namenode -->
</propery>
</configuration>

1. 配置hdfs-site.xml文件：hadoop的文件存储的基本信息与目录

1
2
3
4
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value> <!-- 文件系统的数据存放路径 -->
</property>

1. 配置mapred-site.xml文件：hadoop的计算节点的端口号

1
2
3
4
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value> <!-- 配置任务调度器如何访问 -->
</property>

1. 格式化：hadoop namenode -format
2. 启动 hadoop：start-all.sh
3. 查看端口：jps,可以看到五大守护进程说明正确
4. 停止 hadoop：stop-all.sh

Hadoop 核心 HDFS

HDFS 基本概念

• 块 Block 文件分块存储 默认64MB 逻辑单元
• NameNode (管理节点，存放文件元数据)
• 文件与数据库的映射表
• 数据库与数据节点的映射表
• DataNode (工作节点，存放数据块)

数据管理策略

1. hdfs是采用master-slave的模式关管理文件，即一个master(namenade:保存datanode的一些基本信息和元数据)和多个slave(datanode:真正的存贮单元，里面存储了真实数据)
2. hdfs默认保存三份文件，有两份保存在同一台机器上，另外一份（备份文件）保存到另外一台机器上，确保当一台机器挂了时能保存数据的存在
3. namenade也有一个备用节点：Secondary NameNode,当namenode挂了时secondaryNameNode就变为nameNode的角色进行管理数据
4. datandoe会采用心跳的方式时不时的想namenode报告自己的基本信息，比如网络是否正常，运行是否正确常

HDFS 中文件读写的流程

客户端发出读写请求，namenode根据元数据返回给客户端，下载需要的block并组装

HDFS 读取文件的流程：

1. 客户端向namenode发起独立请求，把文件名，路径告诉namenode；
2. namenode查询元数据，并把数据库返回客户端；
3. 此时客户端就明白文件包含哪些块，这些块在哪些datanode中可以找到；

HDFS 写入文件的流程：

1. 客户端将文件拆分成块
2. 客户端通知NameNode,NameNode返回可用的DataNode节点地址
3. 客户端根据返回的DataNode将数据块写入到可用的DataNode中
4. 因为数据块要有三份，所以会通过一个复制管道将每个数据块复制出另外两份并保存
5. 更新元数据NameNode

HDFS 特点

1. 数据冗余，硬件容错（一式三份来保证）
2. 流式数据访问：写一次，读多次，一旦写入无法修改，只能通过写入到新的块删除旧的块进行处理
3. 存储大文件（特适合，因为小文件多，势必加重NameNode的负担）

优点：存储块大，吞吐量高，为存储大文件设计；适合一次写入多次读取，顺序读写

缺点：延迟高，不适合交互式访问，不支持多用户并发写相同文件

HDFS 使用

它提供了 shell 接口，可以进行命令行操作，常用Hadoop的shell命令：

1
2
3
4
5
6
7
#hadoop fs -format #格式化操作
#hadoop fs -ls / #展示文件
#hadoop fs -cat input/hsdf-site.xml #查看Hadoop里面的指定文件
#hadoop fs -mkdir input #未指明目录，表示在Hadoop的文件系统下的默认目录/user/root下新建
#hadoop fs -put hdsf-site.xml input/ #上传文件到Hadoop
#hadoop fs -get hdfs-site.xml hdfs-site2.xml #从Hadoop下载文件
#hadoop dfsadmin -report #查看HADF使用情况（所有信息）

Hadoop 核心 MapReduce

MapReduce 的原理

Mapreduce原理：分而治之，一个大任务分成多个子任务（map），并行执行之后，合并结果（reduce）。

eg：做统计的时候，把统计的文件拆分，然后分别统计每一个数据出现的次数，然后合并拆分项，就可以统计每一个数据出现的总次数。

在正式执行Map前，需要将输入数据进行”分片”。所谓分片，就是将输入数据切分为大小相等的数据块，每一块作为单个Map Worker的输入被处理，以便于多个Map Worker同时工作。

分片完毕后，多个Map Worker就可以同时工作了。每个Map Worker在读入各自的数据后，进行计算处理，最终输出给Reduce。Map Worker在输出数据时，需要为每一条输出数据指定一个Key。这个Key值决定了这条数据将会被发送给哪一个Reduce Worker。Key值和Reduce Worker是多对一的关系，具有相同Key的数据会被发送给同一个Reduce Worker，单个Reduce Worker有可能会接收到多个Key值的数据。

在进入Reduce阶段之前，MapReduce框架会对数据按照Key值排序，使得具有相同Key的数据彼此相邻。如果用户指定了”合并操作”(Combiner)，框架会调用Combiner，将具有相同Key的数据进行聚合。Combiner的逻辑可以由用户自定义实现。这部分的处理通常也叫做”洗牌”(Shuffle)。

接下来进入Reduce阶段。相同的Key的数据会到达同一个Reduce Worker。同一个Reduce Worker会接收来自多个Map Worker的数据。每个Reduce Worker会对Key相同的多个数据进行Reduce操作。最后，一个Key的多条数据经过Reduce的作用后，将变成了一个值。

MapReduce 的运行流程

Job & Task：

一个 Job（任务、作业） 被切分为多个 Task，Task 又分为 MapTask 和 ReduceTask

mapReduce 作业执行过程

JobTracker ：将一个Job拆分成多个Map和Reduce任务；分配Map和Reduce任务

• 作业调度
• 分配任务、监控任务
• 监控 TaskTracker 的状态

TaskTracker ：Map任务分发给下面的TaskTracker做实际 的任务；TaskTracker与DataNode保持对应关系

• 执行任务
• 向 JobTracker 汇报任务状态

mapReduce 容错机制

1. 重复测试：如果一个TaskTracker节点在测试过程中失败，mapreduce会重新执行该任务，如果执行四次后仍失败，就停止执行该任务
2. 推测测试：如果一个taskTracker执行得很慢，mapReduce就会重新开启一个taskTracker节点去计算相同的该任务，原来那个继续执行，重新开启的taskTracker如果先执行完，则mapReduce取到该结果后就会停止原来那个很慢的taskTracker节点