HDFS 概述

1. HDFS 产生背景及定义

1.1 产生背景

数量增加，单台机已经存不下所有数据，需要把数据分配到更多个系统的磁盘中，这就需要一种系统来管理多台机器上的文件， 这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种

1.2 HDFS 定义

HDFS(Haddop Distibuted File System)

• **它是一个文件系统，**用于存储文件，通过目录树来定位文件；
• 它是分布式的，联合多台服务器来实现其功能，集群中服务器有各自的角色
• 使用场景：
  • 一次写入，多次读出
  • 不支持文件修改
  • 适合做数据分析，不适合用来做网盘

2. HDFS 的优缺点

2.1 优点

• 高容错性
  • 数据自动保存多个副本。（默认3个，通过增加副本的形式，提高容错性）；
  • 某一副本丢失以后，它可以自动恢复。
• 适合处理大数据
  • 数据规模：能够处理数据规模达到GB，TB，甚至PB级别的数据；
  • 文件规模：能够处理百万规模以上的文件数量，数量相当之大。
• 可构建在廉价机器上， 通过多副本机制，提高可靠性。

2.3 缺点

• 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
• 无法高效的对大量小文件进行存储。
  • 存储大量小文件的话，它会占用 NameNode 大量的内存来存储文件目录和块信息。这样是不可取的，因为 NameNode 的内存总是有限的；
  • 小文件存储的寻址时间会超过读取时间，它违反了 HDFS 的设计目标。
• 不支持并发写入、文件随机修改。
  • 一个文件只能有一个写，不允许多个线程同时写；
  • **仅支持数据 append（追加），**不支持文件的随机修改。

3. HDFS 组成架构

3.1 组织架构图

3.2 说明

• NameNode（nn）：就是Master，它是一个主管、管理者。
  • （1）管理HDFS的名称空间；
  • （2）配置副本策略；
  • （3）管理数据块（Block）映射信息；
  • （4）处理客户端读写请求。
• DataNode：就是Slave。NameNode 下达命令，DataNode 执行实际的操作。
  • （1）存储实际的数据块；
  • （2）执行数据块的读/写操作。
• Client：就是客户端。
  • （1）文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的 Block，然后进行上传；
  • （2）与 NameNode 交互，获取文件的位置信息；
  • （3）与 DataNode 交互，读取或者写入数据；
  • （4）Client提供一些命令来管理HDFS，比如 NameNode 格式化；
  • （5）Client 可以通过一些命令来访问 HDFS，比如对 HDFS 增删查改操作；
• Secondary NameNode：并非 NameNode 的热备。当 NameNode 挂掉的时候，它并不能马上替换 NameNode 并提供服务。
  • （1）辅助 NamelNode，分担其工作量，比如定期合并 FsimagefEdits，并推送给 NamelNode；
  • （2）在紧急情况下，可辅助恢复 NameNode。

4. HDFS 文件块大小

4.1 块大小设置

HDFS 中的文件在物理上是分块存储（Block），块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。

• 存储大小设置值
  • 如果寻址时间约为 10ms， 即查找到目标block的时间为 10ms。
  • 寻址时间为传输时间的 1% 时，则为最佳状态。 因此，传输时间 =10ms/0.01=1000ms=1s
  • 目前磁盘的传输速率普遍为 100MB/s。
  • boock 大小 = 1s * 100MB/s = 100 MB （理论值）
• 综上，块的大小主要取决于文件的传输速率，传输速率越高，块大小设置可以越大

4.2 块为什么不能设置太小或太大

• 设置太小
  • 会增加寻址时间
  • 元数据太多，NameNode 吃不消
• 设置太大
  • 从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。