分布式文件系统HDFS

1 HDFS概述

1.1 HDFS产生背景及定义

1.1.1 HDFS产生背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统
管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是
分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

1.1.2 HDFS定义

• HDFS(Hadoop Distributed File System)，它是一个文件系统，用于存储文件，通过目录树
  来定位文件;其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各
  自的角色。

• HDFS的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数
  据分析，并不适合用来做网盘应用。

1.2 HDFS 优缺点

1.2.1 优点

1. 高容错性
   • 数据自动保存多个副本。通过增加副本的形式，提高容错性。
   • 某一个副本丢失以后，可以自动恢复。
2. 适合处理大数据
   • 数据规模：能够处理数据规模达到GB、TB甚至PB级别的数据。
   • 文件规模：能够处理百万规模以上的文件数量，数量相当大。
3. 可构建在廉价机器上，通过多副本机制，提高可靠性。

1.2.2 缺点

1. 不适合低延时数据访问，比如毫秒级的存储数据是做不到的。
2. 无法高效地对大量小文件进行存储。
   • 存储大量小文件的话，会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。
   • 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
3. 不支持并发写入、文件随机修改。
   • 一个文件只能有一个写线程，不允许多个线程同时写。
   • 仅支持数据追加，不支持文件的随机修改。

1.3 HDFS组成架构

图1.1 HDFS组成架构

1. NameNode(nn)：就是Master，它是一个主管、管理者。

   • 管里HDFS的名称空间；
   • 配置副本策略；
   • 管理数据块(Block）映射信息；
   • 处理客户端读写请求。

2. DataNode(dn)：就是Slave。NameNode下达命令，DataNode执行实际的操作。

   • 存储实际的数据块；
   • 执行数据块的读写操作。

3. Client：就是客户端。

   • 文件切分。文件上传HDFS的时候，Client将文牛切分成一个一个的Block，然后进行上传；
   • 与NameNode交互，获取文件的位置信息；
   • 与DataNode交互，读取或者写入数据；
   • Client提供一些命令来管理HDFS，比如NameNode格式化；
   • Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作。

4. Secondary NameNode(2nn)：并非NameNode的热备（备用设备）。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。

   • 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode；
   • 在紧急情兄下，可辅助恢复NameNode。

1.4 HDFS 文件块大小（重点）

1. HDFS中的文件在物理上是分块存储（Block ），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本Hadoop1.x中是64M。

2. Block大小的计算原理（100M近似取128M）

图1.2 HDFS的Block大小设置

3. 为什么Block不能设置太小，也不能设置太大？

(1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；
(2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时会非常慢。

4. 总结：HDFS的Block大小设置主要取决与磁盘的传输速率。传输速率快，相同时间下传输的数据多，Block就可以设置得大。

2 HDFS的Shell操作（开发重点）

Tip：以下操作可以在伪分布式模式下进行。

1. 基本语法

• bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令
• dfs是fs的实现类，所以前者命令集包含后者。
• 一般命令区分大小写

2. 命令大全

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop fs

[-appendToFile <localsrc> ... <dst>]
        [-cat [-ignoreCrc] <src> ...]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-count [-q] <path> ...]
        [-cp [-f] [-p] <src> ... <dst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-df [-h] [<path> ...]]
        [-du [-s] [-h] <path> ...]
        [-expunge]
        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getmerge [-nl] <src> <localdst>]
        [-help [cmd ...]]
        [-ls [-d] [-h] [-R] [<path> ...]]
        [-mkdir [-p] <path> ...]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-mv <src> ... <dst>]
        [-put [-f] [-p] <localsrc> ... <dst>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setrep [-R] [-w] <rep> <path> ...]
        [-stat [format] <path> ...]
        [-tail [-f] <file>]
        [-test -[defsz] <path>]
        [-text [-ignoreCrc] <src> ...]
        [-touchz <path> ...]
        [-usage [cmd ...]]

3. 常用命令实操

（0）启动Hadoop集群（方便后续的测试）

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

（1）-help：输出这个命令参数的使用方法

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -help rm

（2）-ls: 显示目录信息

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -ls /

（3）-mkdir：在HDFS上创建目录

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir -p /sanguo/shuguo

（4）-moveFromLocal：从本地剪切粘贴到HDFS

[atguigu@hadoop102 hadoop-2.7.2]$ touch kongming.txt

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs  -moveFromLocal  ./kongming.txt  /sanguo/shuguo

（5）-appendToFile：追加一个文件到已经存在的文件末尾

[atguigu@hadoop102 hadoop-2.7.2]$ touch liubei.txt

[atguigu@hadoop102 hadoop-2.7.2]$ vim liubei.txt
输入
san gu mao lu

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

（6）-cat：显示文件内容

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/kongming.txt

（7）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs  -chmod  777  /sanguo/shuguo/kongming.txt

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs  -chown  atguigu:atguigu  /sanguo/shuguo/kongming.txt

（8）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt /

（9）-copyToLocal：从HDFS拷贝到本地

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./

（10）-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径（复制），前者为源路径，后者为目的路径，具有两个路径参数的命令都如此

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

（11）-mv：在HDFS目录中移动文件（剪切）

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/

（12）-get：等同于copyToLocal，就是从HDFS下载文件到本地

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./

（13）-getmerge：合并下载多个文件到一个文件中去，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,…

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt

（14）-put：等同于copyFromLocal

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /user/atguigu/test/

（15）-tail：显示一个文件的末尾

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -tail /sanguo/shuguo/kongming.txt

（16）-rm：删除HDFS上的文件或文件夹，递归删除文件夹需要加上参数-r

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -rm /user/atguigu/test/jinlian2.txt

（17）-rmdir：删除空目录

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -rmdir /test

（18）-du统计文件夹的大小信息

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -du -s -h /user/atguigu/test
2.7 K  /user/atguigu/test

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -du  -h /user/atguigu/test
1.3 K  /user/atguigu/test/README.txt
15   /user/atguigu/test/jinlian.txt
1.4 K  /user/atguigu/test/zaiyiqi.txt

• -s代表显示整个文件夹的大小；-h代表给文件大小加上单位（K, M等）

（19）-setrep：设置HDFS中文件的副本数量，不过是否真的会有这么多副本，还得看DataNode的数量

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

3 HDFS客户端操作（开发重点）

Tip：以下操作可以在伪分布式模式下进行。

3.1 HDFS客户端环境准备

1. 根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2），如图3.1（可从网上下载）：

图3.1 编译后的hadoop jar包

2. 配置HADOOP_HOME环境变量，如图3.2：

图3.2 配置HADOOP_HOME环境变量

3. 配置Path环境变量，如图3.3：

图3.3 配置Path环境变量

4. 创建一个Maven工程HdfsClientDemo：

（1）打开eclipse；

（2）左上角File –> new –> Maven Project –> Create a simple project。

5. 在pom.xml文件中的<project></project>标签中导入相应的依赖坐标+日志添加：

<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.8</version>
			<scope>system</scope>
			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
		</dependency>
</dependencies>

Tips：环境配置出现问题可参考本人另一篇博客《Eclipse创建Maven Project环境配置Debug》

• 如果Eclipse/Idea打印不出日志，在控制台上只显示，报错如下：

1.log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).  
2.log4j:WARN Please initialize the log4j system properly.  
3.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

• 需要在项目的src/main/resources目录下，新建一个文件（无法新建.properties文件可在项目外新建记事本输入内容后修改后缀即可），命名为“log4j.properties”，在文件中填入如下内容：

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

6. 创建包名：com.atguigu.hdfs

7. 创建HdfsClient类，有两种连接方式

（1）第一种方式：

public class HdfsClient{
    
@Test
public void testMkdirs() throws IOException, InterruptedException, URISyntaxException{
    
		// 1 获取文件系统
		Configuration configuration = new Configuration();

		// 配置在集群上运行
		configuration.set("fs.defaultFS", "hdfs://hadoop102:9000");
		
		FileSystem fs = FileSystem.get(configuration);

		// 2 创建目录
		fs.mkdirs(new Path("/1108/daxian/banzhang"));

		// 3 关闭资源
		fs.close();

	}

}

• 这种情况需要配置用户名称，点击Run –> Run Configurations –> 双击Java Application –> 点击新建的HDFS项目 – > 修改如下内容： –> Apply

图3.4 Eclipse配置用户名称

• 原理解释：客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从JVM中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=atguigu，atguigu为用户名称。

（2）第二种方式

public class HdfsClient{	

@Test
public void testMkdirs() throws IOException, InterruptedException, URISyntaxException{

		// 1 获取文件系统
		Configuration configuration = new Configuration();
		FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

		// 2 创建目录
		fs.mkdirs(new Path("/1108/daxian/banzhang"));

		// 3 关闭资源
		fs.close();
	}
}

• 这种方式直接运行即可，推荐使用。

3.2 HDFS的API操作

3.2.1 HDFS文件上传（测试副本数参数优先级）

1. 编写源码

@Test
public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {

		// 1 获取文件系统
		Configuration configuration = new Configuration();
		configuration.set("dfs.replication", "2");  // 客户端代码设置的副本数
		FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

		// 2 上传文件
		fs.copyFromLocalFile(new Path("e:/banzhang.txt"), new Path("/banzhang.txt"));

		// 3 关闭资源
		fs.close();

		System.out.println("over");
}

2. 将hdfs-site.xml拷贝到项目的资源目录下，包含以下内容：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<name>dfs.replication</name>
        <value>1</value>
	</property>
</configuration>

3. 副本数参数优先级

① 客户端代码中设置的值 > ② 客户端项目资源目录下的配置文件 > ③ ClassPath下的用户自定义配置文件hdfs-site.xml > ④ 服务器的默认配置hdfs-default.xml

3.2.2 HDFS文件下载

• 代码示例如下：

@Test
public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{

		// 1 获取文件系统
		Configuration configuration = new Configuration();
		FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
		
		// 2 执行下载操作
		// boolean delSrc 指是否将原文件删除
		// Path src 指要下载的文件路径
		// Path dst 指将文件下载到的路径
		// boolean useRawLocalFileSystem 是否使用本地文件系统，不使用本地文件系统则开启文件校验，会产生.crc文件，默认是false
		fs.copyToLocalFile(false, new Path("/banzhang.txt"), new Path("e:/banhua.txt"), true);
		
		// 3 关闭资源
		fs.close();
}

3.2.3 HDFS文件夹删除

• 代码示例如下：

@Test
public void testDelete() throws IOException, InterruptedException, URISyntaxException{

	// 1 获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
		
	// 2 执行删除
    // Path 文件夹路径
    // boolean recursive 如果删除文件夹需设置为true，否则会报错；如果删除文件true 或 false均可
	fs.delete(new Path("/0508/"), true);
		
	// 3 关闭资源
	fs.close();
}

3.2.4 HDFS文件名更改

• 代码示例如下：

@Test
public void testRename() throws IOException, InterruptedException, URISyntaxException{

	// 1 获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu"); 
		
	// 2 修改文件名称
	fs.rename(new Path("/banzhang.txt"), new Path("/banhua.txt"));
		
	// 3 关闭资源
	fs.close();
}

3.2.5 HDFS文件详情查看

• 查看文件名称、权限、长度、块信息，代码示例如下：

@Test
public void testListFiles() throws IOException, InterruptedException, URISyntaxException{

	// 1获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu"); 
		
	// 2 获取文件详情，返回一个迭代器（数组）
    // Path 文件夹路径
    // boolean Recursive 是否迭代访问下一级文件
	RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
		
	while(listFiles.hasNext()){
		LocatedFileStatus status = listFiles.next();
			
		// 输出详情
		// 文件名称，先获取文件路径，再获取文件名
		System.out.println(status.getPath().getName());
		// 长度
		System.out.println(status.getLen());
		// 权限
		System.out.println(status.getPermission());
		// 分组
		System.out.println(status.getGroup());
			
		// 获取存储的块信息，返回值是数组类型
		BlockLocation[] blockLocations = status.getBlockLocations();
			
		for (BlockLocation blockLocation : blockLocations) {
				
			// 获取块存储的主机节点，返回值是数组类型
			String[] hosts = blockLocation.getHosts();
				
			for (String host : hosts) {
				System.out.println(host);
			}
		}
			
		System.out.println("-----------班长的分割线----------");
	}

// 3 关闭资源
fs.close();
}

3.2.6 HDFS文件和文件夹判断

• 代码示例如下：

@Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException{
		
	// 1 获取文件配置信息
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
		
	// 2 获取目标目录下的所有文件或文件夹状态
	FileStatus[] listStatus = fs.listStatus(new Path("/"));
		
    // 3 遍历所有文件或文件夹状态
	for (FileStatus fileStatus : listStatus) {
		
		// 如果是文件
		if (fileStatus.isFile()) {
				System.out.println("f:"+fileStatus.getPath().getName());
			}else {
				System.out.println("d:"+fileStatus.getPath().getName());
			}
		}
		
	// 4 关闭资源
	fs.close();
}

3.3 HDFS的 I/O 流操作

• 上面的API操作HDFS系统都是框架封装好的。如果我们想自己实现上述API的操作可以采用I/O流的方式实现数据的上传和下载。

3.3.1 HDFS文件上传

1. 需求：把本地E盘上的banhua.txt文件上传到HDFS根目录。
2. 编写代码如下：

@Test
public void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException {

	// 1 获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");

	// 2 创建输入流，创建一个从本地文件系统输入的数据流
	FileInputStream fis = new FileInputStream(new File("e:/banhua.txt"));

	// 3 获取输出流，创建输出到HDFS的数据流
	FSDataOutputStream fos = fs.create(new Path("/banhua.txt"));

	// 4 流对拷
	IOUtils.copyBytes(fis, fos, configuration);

	// 5 关闭资源，先关闭输出流，再关闭输入流
	IOUtils.closeStream(fos);
	IOUtils.closeStream(fis);
    fs.close();
}

3. 整体逻辑：客户端操作系统可视为“中转站”，本地文件系统将数据输入到客户端操作系统，客户端操作系统进行流对拷之后，将数据输出到HDFS系统。

3.3.2 HDFS文件下载

1. 需求：从HDFS上下载banhua.txt文件到本地E盘上。
2. 编写代码如下：

@Test
public void getFileFromHDFS() throws IOException, InterruptedException, URISyntaxException{

	// 1 获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
		
	// 2 获取输入流，创建一个从HDFS输入的数据流
	FSDataInputStream fis = fs.open(new Path("/banhua.txt"));
		
	// 3 获取输出流，创建一个输出到本地文件系统的数据流
	FileOutputStream fos = new FileOutputStream(new File("e:/banhua.txt"));
		
	// 4 流的对拷
	IOUtils.copyBytes(fis, fos, configuration);
		
	// 5 关闭资源
	IOUtils.closeStream(fos);
	IOUtils.closeStream(fis);
	fs.close();
}

Tip：

• 输入输出流中与本地文件系统相联系的前缀是File前缀，与HDFS系统相联系的前缀是FSData。
• 创建一个从HDFS输入的数据流使用fs.open(Path)，创建输出到HDFS的数据流使用fs.creat(Path)。

3.3.3 定位文件读取

1. 需求：分块读取HDFS上的大文件。
2. 编写代码如下：

// 下载第一块
@Test
public void readFileSeek1() throws IOException, InterruptedException, URISyntaxException{

	// 1 获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
		
	// 2 获取输入流
	FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));
		
	// 3 创建输出流
	FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part1"));
		
	// 4 流的拷贝（只拷贝128M），使用IOUtils.copyBytes()就会全部拷贝，无法定位
	byte[] buf = new byte[1024];
		
	for(int i =0 ; i < 1024 * 128; i++){
		fis.read(buf);
		fos.write(buf);
	}
		
	// 5关闭资源
	IOUtils.closeStream(fis);
	IOUtils.closeStream(fos);
fs.close();
}

// 拷贝第二块
@Test
public void readFileSeek2() throws IOException, InterruptedException, URISyntaxException{

	// 1 获取文件系统
	Configuration configuration = new Configuration();
	FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "atguigu");
		
	// 2 打开输入流
	FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));
		
	// 3 定位输入数据位置
	fis.seek(1024*1024*128);
		
	// 4 创建输出流
	FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part2"));
		
	// 5 流的对拷，第二块就拷贝完毕可以直接使用IOUtils.copyBytes()，全部拷贝
	IOUtils.copyBytes(fis, fos, configuration);
		
	// 6 关闭资源
	IOUtils.closeStream(fis);
	IOUtils.closeStream(fos);
}

• 合并文件：

  在Window命令窗口中进入到目录E:\，然后执行如下命令，对数据进行合并，合并完成后，将hadoop-2.7.2.tar.gz.part1重新命名为hadoop-2.7.2.tar.gz。

type hadoop-2.7.2.tar.gz.part2 >> hadoop-2.7.2.tar.gz.part1

4 HDFS的数据流（面试重点）

4.1 HDFS写数据流程

4.1.1 剖析文件写入

图4.1 HDFS的写数据流程

1. 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。

2. NameNode返回是否可以上传。

3. 客户端请求第一个 Block上传到哪几个DataNode服务器上。

4. NameNode一般返回3个DataNode节点，分别为dn1、dn2、dn3（优先选择距离近、负载小的DataNode节点）。

5. 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。

6. dn1、dn2、dn3逐级应答客户端。

7. 客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet在保存信息之后就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待dn2和dn3的应答，等到获得dn3全部存储完毕的应答之后清空内存。

8. 当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

4.1.2 网络拓扑-节点距离计算

1. 节点距离：两个节点到达最近的共同祖先的距离总和。

2. 示例如图：

图4.2 网络拓扑-节点距离计算

4.1.3 机架感知（副本存储节点选择）

1. 官方说明：

• http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

2. Hadoop 2.7.2 副本节点选择

• 综合考虑I/0速度和副本安全性与可靠性

图4.3 Hadoop2.7.2副本节点选择

4.2 HDFS读数据流程

图4.4 HDFS的读数据流程

详细步骤解读：

1. 客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
2. 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
3. DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
4. 客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

5 NameNode 和 Secondary NameNode（面试开发重点）

5.1 NN和2NN的工作机制（重点）

• Q：NameNode中的元数据是存储在哪里的？

• A：

  • 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。
  • 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。
  • 但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点Secondary NameNode，专门用于FsImage和Edits的合并。

• 详细的NN和2NN工作机制如图5.1：

图5.1 NN和2NN工作机制

1. 第一阶段：NameNode启动

（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载Edits日志和FsImage文件到内存并生成一个空的edits.inprogress。

（2）客户端对元数据进行增删改的请求。（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息）

（3）NameNode记录操作日志在edits.inprogress中，更新滚动日志。（先修改日志而不直接操作内存是为了保存操作信息，避免突然断电导致操作终止并丢失）

（4）NameNode在内存中对数据进行增删改。

2. 第二阶段：Secondary NameNode工作

（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否需要CheckPoint结果。（触发条件是定时时间到或者Edits中的数据满了）

（2）Secondary NameNode请求执行CheckPoint。

（3）NameNode滚动正在写的Edits日志。（将Edits分为之前的Edits日志汇总和空的新Edits日志edits.inprogress）

（4）将滚动前的Edits日志和FsImage文件拷贝到Secondary NameNode。

（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）

（6）生成新的镜像文件fsimage.chkpoint。

（7）拷贝fsimage.chkpoint到NameNode。

（8）NameNode将fsimage.chkpoint重新命名成fsimage替换掉原来的fsimage。

3. 补充：

（1）FsImage：NameNode内存中元数据序列化后形成的文件。

（2）Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。

（3）Secondary NameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。

（4）NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在FsImage中。

5.2 FsImage和Edits解析（了解）

5.2.1 概念

0. NameNode被格式化之后，将在**/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current**目录中产生如下文件：

fsimage_0000000000000000000
fsimage_0000000000000000000.md5
seen_txid
VERSION

1. Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息。
2. Edits文件:存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先
   会被记录到Edlits文件中。
3. sen_txid文件保存的是一个数字，就是最后一个edits_的数字。
4. 每次NameNode启动的时候都会将Fsimage文件读入内存，加载Edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将FsImage和Edits文件进行了合并。

5.2.2 oiv查看FsImage文件

1. 查看oiv和oev命令

[atguigu@hadoop102 current]$ hdfs
oiv      apply the offline fsimage viewer to an fsimage
oev      apply the offline edits viewer to an edits file

2. 基本语法

hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径

3. 案例实操

[atguigu@hadoop102 current]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current

[atguigu@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-2.7.2/fsimage.xml

[atguigu@hadoop102 current]$ cat /opt/module/hadoop-2.7.2/fsimage.xml

• 将显示的xml文件内容拷贝到Eclipse中创建的xml文件中，并格式化。部分显示结果如下。

<inode>
	<id>16386</id>
	<type>DIRECTORY</type>
	<name>user</name>
	<mtime>1512722284477</mtime>
	<permission>atguigu:supergroup:rwxr-xr-x</permission>
	<nsquota>-1</nsquota>
	<dsquota>-1</dsquota>
</inode>

<inode>
	<id>16387</id>
	<type>DIRECTORY</type>
	<name>atguigu</name>
	<mtime>1512790549080</mtime>
	<permission>atguigu:supergroup:rwxr-xr-x</permission>
	<nsquota>-1</nsquota>
	<dsquota>-1</dsquota>
</inode>

<inode>
	<id>16389</id>
	<type>FILE</type>
	<name>wc.input</name>
	<replication>3</replication>
	<mtime>1512722322219</mtime>
	<atime>1512722321610</atime>
	<perferredBlockSize>134217728</perferredBlockSize>
	<permission>atguigu:supergroup:rw-r--r--</permission>
	<blocks>
		<block>
			<id>1073741825</id>
			<genstamp>1001</genstamp>
			<numBytes>59</numBytes>
		</block>
	</blocks>
</inode >

• Q：可以看出，FsImage中没有记录块所对应DataNode，为什么？

• A：在集群启动后，要求DataNode上报数据块信息，并间隔一段时间后再次上报。

具体过程如下：在所有DataNode启动时，每个DataNode对本地磁盘进行扫描，将本DataNode上保存的block信息汇报给NameNode，NameNode在接收到每个DataNode的块信息汇报后，将接收到的块信息，以及其所在的DataNode信息等保存在内存中。（HDFS就是通过这种块信息汇报的方式来完成 block -> DataNodes list的对应表构建。DataNode向NameNode汇报块信息的过程叫做blockReport，而NameNode将block -> DataNodes list的对应表信息保存在一个叫BlocksMap的数据结构中。）

5.2.3 oev查看Edits文件

1. 基本语法

hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径

2. 案例实操

[atguigu@hadoop102 current]$ hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-2.7.2/edits.xml

[atguigu@hadoop102 current]$ cat /opt/module/hadoop-2.7.2/edits.xml

• 将显示的xml文件内容拷贝到Eclipse中创建的xml文件中，并格式化。显示结果如下。

<?xml version="1.0" encoding="UTF-8"?>
<EDITS>
	<EDITS_VERSION>-63</EDITS_VERSION>
	<RECORD>
		<OPCODE>OP_START_LOG_SEGMENT</OPCODE>
		<DATA>
			<TXID>129</TXID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ADD</OPCODE>
		<DATA>
			<TXID>130</TXID>
			<LENGTH>0</LENGTH>
			<INODEID>16407</INODEID>
			<PATH>/hello7.txt</PATH>
			<REPLICATION>2</REPLICATION>
			<MTIME>1512943607866</MTIME>
			<ATIME>1512943607866</ATIME>
			<BLOCKSIZE>134217728</BLOCKSIZE>
			<CLIENT_NAME>DFSClient_NONMAPREDUCE_-1544295051_1</CLIENT_NAME>
			<CLIENT_MACHINE>192.168.1.5</CLIENT_MACHINE>
			<OVERWRITE>true</OVERWRITE>
			<PERMISSION_STATUS>
				<USERNAME>atguigu</USERNAME>
				<GROUPNAME>supergroup</GROUPNAME>
				<MODE>420</MODE>
			</PERMISSION_STATUS>
			<RPC_CLIENTID>908eafd4-9aec-4288-96f1-e8011d181561</RPC_CLIENTID
			<RPC_CALLID>0</RPC_CALLID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
		<DATA>
			<TXID>131</TXID>
			<BLOCK_ID>1073741839</BLOCK_ID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
		<DATA>
			<TXID>132</TXID>
			<GENSTAMPV2>1016</GENSTAMPV2>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_ADD_BLOCK</OPCODE>
		<DATA>
			<TXID>133</TXID>
			<PATH>/hello7.txt</PATH>
			<BLOCK>
				<BLOCK_ID>1073741839</BLOCK_ID>
				<NUM_BYTES>0</NUM_BYTES>
				<GENSTAMP>1016</GENSTAMP>
			</BLOCK>
			<RPC_CLIENTID></RPC_CLIENTID>
			<RPC_CALLID>-2</RPC_CALLID>
		</DATA>
	</RECORD>
	<RECORD>
		<OPCODE>OP_CLOSE</OPCODE>
		<DATA>
			<TXID>134</TXID>
			<LENGTH>0</LENGTH>
			<INODEID>0</INODEID>
			<PATH>/hello7.txt</PATH>
			<REPLICATION>2</REPLICATION>
			<MTIME>1512943608761</MTIME>
			<ATIME>1512943607866</ATIME>
			<BLOCKSIZE>134217728</BLOCKSIZE>
			<CLIENT_NAME></CLIENT_NAME>
			<CLIENT_MACHINE></CLIENT_MACHINE>
			<OVERWRITE>false</OVERWRITE>
			<BLOCK>
				<BLOCK_ID>1073741839</BLOCK_ID>
				<NUM_BYTES>25</NUM_BYTES>
				<GENSTAMP>1016</GENSTAMP>
			</BLOCK>
			<PERMISSION_STATUS>
				<USERNAME>atguigu</USERNAME>
				<GROUPNAME>supergroup</GROUPNAME>
				<MODE>420</MODE>
			</PERMISSION_STATUS>
		</DATA>
	</RECORD>
</EDITS>

• Q：NameNode如何确定下次开机启动的时候合并哪些Edits？

• A：NameNode启动的时候合并的是上次停机前正在写入的Edits，即edits_inprogress_xxx，根据seen_txid里面记录最新的FsImage(镜像文件)的值去合并Edits(编辑日志)。

5.3 CheckPoint时间设置

1. 通常情况下，SecondaryNameNode每隔一小时执行一次。

• [hdfs-default.xml]

<property>
	<name>dfs.namenode.checkpoint.period</name>
	<value>3600</value>
</property>

2. 一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
	<name>dfs.namenode.checkpoint.txns</name>
	<value>1000000</value>
	<description>操作动作次数</description>
</property>

<property>
	<name>dfs.namenode.checkpoint.check.period</name>
	<value>60</value>
	<description> 1分钟检查一次操作次数</description>
</property >

5.4 NameNode故障处理

• NameNode故障后，可以采用如下两种方法恢复数据。

5.4.1 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录

1. kill -9 NameNode，删除进程

2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

[atguigu@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录

[atguigu@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/

4. 重新启动NameNode

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

5.4.2 方法二：使用-importCheckpoint选项启动NameNode守护进程，从而将Secondary NameNode中数据拷贝到NameNode目录中

1. 修改hdfs-site.xml中的

<property>
	<name>dfs.namenode.checkpoint.period</name>
	<value>120</value>
</property>

<property>
	<name>dfs.namenode.name.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>

2. kill -9 NameNode进程

3. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

[atguigu@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

4. 如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录（方法一为拷贝到下一级name目录里），并删除in_use.lock文件

[atguigu@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./

[atguigu@hadoop102 namesecondary]$ rm -rf in_use.lock

[atguigu@hadoop102 dfs]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs

[atguigu@hadoop102 dfs]$ ls
data  name  namesecondary

5. 导入检查点数据（等待一会ctrl+c结束掉）

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint

6. 启动NameNode

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

• 检查事物更多，过程更为标准。

5.5 集群安全模式

5.5.1 概述

1. NameNode启动
   NarneNode启动时，首先将镜像文件(FsImage）载入内存，并执行编辑日志(Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的FsImage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程期间，NameNode一直运行在安全模式，即NameNode的文件系统对于客户湍来说是只读的。
2. DataNode启动
   系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNode中。在系统的正常操作期间，NameNode会在内存中保留所有块位置的映射信息。在安全模式下，各个DataNode会向NameNode发送新的块列表信息，NameNode了解到足够多的块位置信息之后，即可高效运行文件系统。
3. 安全模式退出判断
   如果满足”“最小副本条件”，NameNode会在30利钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别（默认值: dfsreplication.rin=1)。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，听以NameNode不会进入安全模式。

5.5.2 基本语法

• 集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

1. bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）

2. bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）

3. bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）

4. bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

5.5.3 案例

• 模拟等待安全模式

1. 查看当前模式

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -safemode get
Safe mode is OFF

2. 进入安全模式

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode enter

3. 创建并执行下面的脚本

在/opt/module/hadoop-2.7.2路径上，编辑一个脚本safemode.sh
[atguigu@hadoop102 hadoop-2.7.2]$ touch safemode.sh

[atguigu@hadoop102 hadoop-2.7.2]$ vim safemode.sh

• 编辑以下内容：

#!/bin/bash
# 等待离开安全模式之后执行下面的命令
hdfs dfsadmin -safemode wait
hdfs dfs -put /opt/module/hadoop-2.7.2/README.txt /

• 修改脚本文件权限并执行（初始无反应）

[atguigu@hadoop102 hadoop-2.7.2]$ chmod 777 safemode.sh

[atguigu@hadoop102 hadoop-2.7.2]$ ./safemode.sh 

4. 再打开一个窗口，执行如下命令，离开安全模式

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode leave

5. 观察

（1）再观察上一个窗口，显示：Safe mode is OFF

（2）HDFS集群上已经有上传的数据了。

5.6 NameNode多目录配置

1. NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。

2. 具体配置如下

（1）在hdfs-site.xml文件中增加如下内容，文件路径的个数决定多目录的具体数量

<property>
  <name>dfs.namenode.name.dir</name>
<value>file:///{hadoop.tmp.dir}/dfs/name1,file:///{hadoop.tmp.dir}/dfs/name2</value>
</property>

（2）停止集群，删除data和logs中所有数据。

[atguigu@hadoop102 hadoop-2.7.2]$ rm -rf data/ logs/

（3）格式化集群并启动。

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode –format

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

（4）查看结果

[atguigu@hadoop102 dfs]$ ll
总用量 12
drwx------. 3 atguigu atguigu 4096 12月 11 08:03 data
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name1
drwxrwxr-x. 3 atguigu atguigu 4096 12月 11 08:03 name2

6 DataNode（面试开发重点）

6.1 DataNode工作机制

1. DataNode工作机制如图6.1：

图6.1 DataNode工作机制

2. 详细解释如下：

• 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

• DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

• 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟+30秒没有收到某个DataNode的心跳，则认为该节点不可用。

• 集群运行中可以安全加入和退出一些机器。

6.2 数据完整性

• DataNode节点保证数据完整性的方法如下：

1. 当DataNode读取Block的时候，它会计算CheckSum。

2. 如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。

3. Client读取其他DataNode上的Block。

4. DataNode在其文件创建后周期验证CheckSum，验证方法示例如图6.2：

图6.2 验证CheckSum方法示例

Tip：CRC校验在实际运用中更合适，更准确。

6.3 掉线时限参数设置

• DataNode掉线时限参数设置，如图6.3：

图6.3 DataNode掉线时限参数设置

Tip：hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value> <!--5分钟-->
</property>
<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value> <!--3秒-->
</property>

6.4 服役新数据节点

0. 需求

   随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

1. 环境准备

（1）在hadoop104主机上再克隆一台hadoop105主机
（2）修改IP地址和主机名称
（3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log/）
（4）source一下配置文件

[atguigu@hadoop105 hadoop-2.7.2]$ source /etc/profile

2. 具体步骤

（1）直接启动DataNode，即可关联到集群

（2）在hadoop105上上传文件示例如下

[atguigu@hadoop105 hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /

（3）如果数据不均衡，可以用命令实现集群的再平衡

[atguigu@hadoop102 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

6.5 退役旧数据节点

6.5.1 添加白名单

• 添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。

• 配置白名单的步骤如下：

1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts（自定义名称，但官方建议这样命名）文件

[atguigu@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop

[atguigu@hadoop102 hadoop]$ touch dfs.hosts

[atguigu@hadoop102 hadoop]$ vi dfs.hosts

• 添加如下主机名称（不添加hadoop105），不可有空格或空白

hadoop102
hadoop103
hadoop104

2. 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
	<name>dfs.hosts</name>
	<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

3. 配置文件分发

[atguigu@hadoop102 hadoop]$ xsync hdfs-site.xml

4. 刷新NameNode

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

5. 更新ResourceManager节点

[atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
17/06/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

6. 在Web浏览器上查看

图6.4 Web查看DataNode信息

7. 如果数据不均衡，可以用命令实现集群的再平衡

[atguigu@hadoop102 sbin]$ ./start-balancer.sh

6.5.2 黑名单退役

• 在黑名单上面的主机都会被强制退出。
• 具体步骤如下：

1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件

[atguigu@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop

[atguigu@hadoop102 hadoop]$ touch dfs.hosts.exclude

[atguigu@hadoop102 hadoop]$ vi dfs.hosts.exclude

• 添加如下主机名称（要退役的节点），不允许有空格或空行

hadoop105

2. 在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>
	<name>dfs.hosts.exclude</name>
	<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

3. 刷新NameNode、刷新ResourceManager

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

[atguigu@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

4. 检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点

5. 等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。

• Tip：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

[atguigu@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode

[atguigu@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager

6. 如果数据不均衡，可以用命令实现集群的再平衡

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh 

• Tip：不允许白名单和黑名单中同时出现同一个主机名称。

6.6 DataNode多目录配置

1. DataNode也可以配置成多个目录，每个目录存储的数据不一样（与NameNode不同）。即：不同路径下数据不同，不是副本的关系。
2. 具体配置如下（类似NameNode的多目录配置）：

<property>
        <name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

7 HDFS 2.X 新特性

7.1 集群间数据拷贝

7.1.1 scp实现两个远程主机之间的文件复制

scp -r hello.txt root@hadoop103:/user/atguigu/hello.txt		// 推 push

scp -r root@hadoop103:/user/atguigu/hello.txt  hello.txt		// 拉 pull

scp -r root@hadoop103:/user/atguigu/hello.txt root@hadoop104:/user/atguigu  //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

7.1.2 采用distcp命令实现两个Hadoop集群之间的递归数据复制

[atguigu@hadoop102 hadoop-2.7.2]$  bin/hadoop distcp
hdfs://haoop102:9000/user/atguigu/hello.txt hdfs://hadoop103:9000/user/atguigu/hello.txt

7.2 小文件存档

7.2.1 HDFS存储小文件弊端

每个文件均按块存储，每个块的元教据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NamdNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个1NMB的文件设置为128MB的块存储，实际使用的是1M的磁盘空间，而不是128M。

7.2.2 解决存储小文件办法之一

HDFS存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。如图7.1：

图7.1 HDFS存档文件示意图

7.2.3 案例实操

1. 需要启动YARN进程

[atguigu@hadoop102 hadoop-2.7.2]$ start-yarn.sh

2. 归档文件

• 把/user/atguigu/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/atguigu/output路径下。

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop archive -archiveName input.har –p /user/atguigu/input  /user/atguigu/output

3. 查看归档

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr /user/atguigu/output/input.har

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr har:///user/atguigu/output/input.har

Tip：har是一个协议，用于查看归档成.har的目录。

4. 解归档文件

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -cp har:///user/atguigu/output/input.har/*  /user/atguigu

7.3 回收站

• 开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。

7.3.1 回收站参数设置及工作机制

图7.2 回收站参数设置及工作机制

• Tip：fs.trash.interval和fs.trash.checkpoint.interval的单位都为分钟。

7.3.2 启用回收站

• 修改core-site.xml，配置垃圾回收时间为1分钟。

<property>
   <name>fs.trash.interval</name>
	<value>1</value>
</property>

7.3.3 查看回收站

• 当trash启动的话，每个用户都会有自己的回收站目录，这个目录名是.Trash这个具体路径是/user/集群用户/.Trash，比如：/user/atguigu/.Trash/….

7.3.4 修改访问垃圾回收站用户名称

• 进入垃圾回收站用户名称，默认是dr.who，修改为atguigu用户

• [core-site.xml]

<property>
	<name>hadoop.http.staticuser.user</name>
	<value>atguigu</value>
</property>

7.3.5 通过程序删除的文件不会经过回收站，需要调用moveToTrash()才进入回收站

Trash trash = New Trash(conf);
trash.moveToTrash(path);

7.3.6 恢复回收站数据

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -mv
/user/atguigu/.Trash/Current/user/atguigu/input   /user/atguigu/input

• 实质是文件移动。

7.3.7 清空回收站

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -expunge

• Tip：这个命令不是立即清空我们的回收站，而是将回收站的文件全部立即放入由时间戳命名的文件目录。

7.3.8 回收站工作机制总结

1. 执行删除文件操作，系统首先会将文件移动到/user/atguigu/.Trash/current目录；
2. 等到下一次回收站进行检查时，处于current目录的文件会被放入对应由时间戳命名的文件目录；
3. 然后回收站循环检查，逐步清理这些由时间戳命名的文件目录，也就是删除达到存活时间的文件目录；
4. 文件在回收站的存活时间指的就是被删除文件在这些以时间戳命名的文件目录下的存储时间。

7.4 快照管理

• 快照相当于对目录做一个备份，并不会立即复制所有文件，而是指向同一个文件。当写入发生时，才会产生新文件，也就是说快照是记录文件变化。

• 基本语法

1. 开启/禁用指定目录的快照功能

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -allowSnapshot /user/atguigu/input

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -disallowSnapshot /user/atguigu/input

• Tip：禁用快照前，必须删除对应目录的快照，否则无法删除。

2. 对目录创建快照，不指定名称时，系统以时间戳命名

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -createSnapshot /user/atguigu/input

# 通过web访问hdfs://hadoop102:50070/user/atguigu/input/.snapshot/s…  
# 可以发现快照和源文件使用相同数据

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -lsr /user/atguigu/input/.snapshot/

3. 指定名称创建快照

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -createSnapshot /user/atguigu/input  miao170508

4. 重命名快照

# 语法格式：hdfs dfs -renameSnapshot path oldName newName
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -renameSnapshot /user/atguigu/input/ miao170508 atguigu170508

5. 列出当前用户所有可快照目录（允许快照的目录）

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs lsSnapshottableDir

6. 比较两个快照目录或者快照与文件目录的不同之处

# 语法格式：hdfs snapshotDiff fromPath . toPath (用.区分两个路径)
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs snapshotDiff
 /user/atguigu/input/  .  .snapshot/atguigu170508	

Tip：

• 用“-”表示后者相对于前者少了一个文件，可能是前者新增了一个文件；
• 用“+”表示后者比前者多了一个文件，可能是前者删除了一个文件。

7. 恢复快照

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -cp
/user/atguigu/input/.snapshot/s20170708-134303.027 /user

8. 删除快照

# 语法格式：hdfs dfs -deleteSnapshot <path> <snapshotName>

PS：视频教程查看尚硅谷-Hadoop视频教程。