# HDFS 概述

## 1. HDFS 产生背景及定义

### 1.1 产生背景

数量增加，单台机已经存不下所有数据，需要把数据分配到更多个系统的磁盘中，这就需要**一种系统来管理多台机器上的文件**， 这就是*分布式文件管理系统*。**HDFS 只是分布式文件管理系统中的一种**



### 1.2 HDFS 定义

**HDFS(Haddop Distibuted File System)**

- **它是一个文件系统，**用于存储文件，通过目录树来定位文件；
- **它是分布式的**，联合多台服务器来实现其功能，集群中服务器有各自的角色
- 使用场景：
  - **一次写入，多次读出**
  - **不支持文件修改**
  - 适合做数据分析，不适合用来做网盘





## 2. HDFS 的优缺点

### 2.1 优点

- 高容错性
  - 数据自动保存多个副本。（**默认3个**，通过增加副本的形式，提高容错性）；
  - 某一副本丢失以后，它可以自动恢复。
- 适合处理大数据
  - 数据规模：能够处理数据规模达到GB，TB，甚至PB级别的数据；
  - 文件规模：能够处理百万规模以上的文件数量，数量相当之大。
- 可**构建在廉价机器上，** 通过多副本机制，提高可靠性。



### 2.3 缺点

- **不适合低延时数据访问**，比如毫秒级的存储数据，是做不到的。
- **无法高效的对大量小文件进行存储**。
  - 存储大量小文件的话，它会占用 NameNode 大量的内存来存储文件目录和块信息。这样是不可取的，因为 NameNode 的内存总是有限的；
  - 小文件存储的寻址时间会超过读取时间，它违反了 HDFS 的设计目标。
- 不支持并发写入、文件随机修改。
  - 一个文件只能有一个写，不允许多个线程同时写；
  - **仅支持数据 append（追加），**不支持文件的随机修改。



## 3. HDFS 组成架构

### 3.1 组织架构图

![1-hdfsarchitecture.png](https://hjl18.com/static/img/423dc8fc2364e0ae83dfe6441f863c0d.1-hdfsarchitecture.webp)
### 3.2 说明

- NameNode（nn）：就是Master，它是一个主管、管理者。
  - （1）管理HDFS的名称空间；
  - （2）配置副本策略；
  - （3）管理数据块（Block）映射信息；
  - （4）处理客户端读写请求。
- DataNode：就是Slave。NameNode 下达命令，DataNode 执行实际的操作。
  - （1）存储实际的数据块；
  - （2）执行数据块的读/写操作。
- Client：就是客户端。
  - （1）文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的 Block，然后进行上传；
  - （2）与 NameNode 交互，获取文件的位置信息；
  - （3）与 DataNode 交互，读取或者写入数据；
  - （4）Client提供一些命令来管理HDFS，比如 NameNode 格式化；
  - （5）Client 可以通过一些命令来访问 HDFS，比如对 HDFS 增删查改操作；
- Secondary NameNode：并非 NameNode 的热备。当 NameNode 挂掉的时候，它并不能马上替换 NameNode 并提供服务。
  - （1）辅助 NamelNode，分担其工作量，比如定期合并 FsimagefEdits，并推送给 NamelNode；
  - （2）在紧急情况下，可辅助恢复 NameNode。



## 4. HDFS 文件块大小

### 4.1 块大小设置

HDFS 中的文件在物理上是分块存储（Block），块的大小可以通过配置参数（dfs.blocksize）来规定，**默认大小在Hadoop2.x版本中是128M，老版本中是64M**。

- 存储大小设置值
  - 如果寻址时间约为 10ms， 即查找到目标block的时间为 10ms。
  - 寻址时间为传输时间的 1% 时，则为最佳状态。 因此，传输时间 =10ms/0.01=1000ms=1s
  - 目前磁盘的传输速率普遍为 100MB/s。
  - boock 大小 = 1s * 100MB/s = 100 MB （理论值）
- **综上，块的大小主要取决于文件的传输速率，传输速率越高，块大小设置可以越大**

### 4.2 块为什么不能设置太小或太大

- 设置太小
  - 会增加寻址时间
  - 元数据太多，NameNode 吃不消
- 设置太大
  - 从**磁盘传输数据的时间**会明显**大于定位这个块开始位置所需的时间**。导致程序在处理这块数据时，会非常慢。

HDFS 概述

# Hadoop 组成

## 1. Hadoop 组成

### 1.1 HDFS 架构概述：分布式文件系统

- NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
- DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。
- Secondary NameNode（2nn）：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。





### 1.2 YARN 架构概述：资源调度

![1-YARN-Architecture.png](https://hjl18.com/static/img/f22721b4e22fbabbf585bf3ae7ebb6ab.1-YARN-Architecture.webp)


- ResourceManager（RM）主要作用如下
  - 处理客户端请求
  - 监控NodeManager
  - 启动或监控ApplicationMaster
  - 资源的分配与调度
- NodelManager（NM）主要作用如下
  - 管理单个节点上的资源
  - 处理来自ResourceManager的命令
  - 处理来自ApplicationMaster的命令
- ApplicationMaster（AM）作用如下
  - 负责数据的切分
  - 为应用程序申请资源并分配给内部的任务
  - 任务的监控与容错
- Container 是YARN中的资源抽象，它封装了某个节点上的多维度资源，**如内存、CPU、磁盘、网络等**。



### 1.3 MapReduce 架构概述：分布式计算的代码

- MapReduce 将计算过程分为两个阶段：Map 和 Reduce
  - Map 阶段并行处理输入数据。
  - Reduce 阶段对 Map 结果进行汇总。



# 2. 大数据技术生态体系

![1-2-BigDataTechnologyEcosystem.png](https://hjl18.com/static/img/4118dc4e05836022d0fdf329916de4db.1-2-BigDataTechnologyEcosystem.webp)

Hadoop 组成

# Cloundera Manager Install 

## 系统环境准备

### 1.VMware 安装

> 请百度  

### 2.VMware 安装 CentOS 7

> 请百度  

### 3.网络设置  

>[root@centos06 ~]# vi /etc/sysconfig/network-scripts/ifcfg-enp0s3  

```
修改 ONBOOT=yes
```



### 4.关闭防火墙

>[root@centos06 ~]# systemctl stop firewalld.service  
>[root@centos06 ~]# systemctl disable firewalld.service  
>[root@centos06 ~]# systemctl status firewalld.service  

### 5.SELINUX关闭 (SELINUX=disabled)  

>[root@localhost ~]# vim /etc/selinux/config  

### 6.安装NTP

>[root@localhost ~]# yum -y install ntp  
>设置开机启动 chkconfig ntpd on  
>chkconfig ntpd on  
>设置时间同步  
>[root@localhost ~]# ntpdate -u s2c.time.edu.cn  

### 7.安装mysql

```
如果是 CentOS 7 版本，由于 MySQL数据库已从默认的程序列表中移除，可以使用 mariadb 代替：

yum install mariadb-server mariadb

mariadb数据库的相关命令是：

systemctl start mariadb  #启动MariaDB

systemctl stop mariadb  #停止MariaDB

systemctl restart mariadb  #重启MariaDB

systemctl enable mariadb  #设置开机启动
```

```
Mysql安装成功后，默认的root用户密码为空，你可以使用以下命令来创建root用户的密码：

mysqladmin -u root password "root"

现在你可以通过以下命令来连接到Mysql服务器：

mysql -u root -p
```

**开放给其他网络访问**  

```
select host,user from user;

修改 mysql 权限：   
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

删除多余会对权限造成影响的数据：delete from user where host !='%';

刷新：  
flush privileges;
```

### 8.安装依赖包

>yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y  

### 9.安装java并配置环境变量

### 10.安装CM

#### 10.1 下载地址

http://archive.cloudera.com/cm5/installer/  

#### 10.2 安装

**赋予脚本执行权限**  

># chmod u+x cloudera-manager-installer.bin  

**执行脚本启动安装界面**  

># export DISPLAY=192.168.1.198:0.0
>
># ./cloudera-manager-installer.bin  

一路next

Cloundera Manager Install 

## 1. spring security 的基本原理

### 1.1 添加 spring security 依赖后的情况

对所有连接进行拦截，并跳转到内置登录页面，登录名默认为 user， 登录密码，启动时在控制台打印出来



### 1.2 简单配置示例

```
@Configuration
public class BrowserSecurityConfig extends WebSecurityConfigurerAdapter {
    @Override
    protected void configure(HttpSecurity http) throws Exception {
//        http.httpBasic()
        http.formLogin()
                .and()
                // request 验证
                .authorizeRequests()
                // 任何请求
                .anyRequest()
                .authenticated();
    }
}
```

### 1.3 spring security 的基本原理

spring security 其实就是客户端发起请求是和 REST API 之间（请求到控制器，控制器到响应）的**过滤器链。**

这个过滤器链上有两个比较常用的 Filter, **UsernamePasswordAuthenticationFilter** (表单过滤器), **BasicAuthenticationFilter** (旧版本默认配置，弹窗输入账号密码的警告框)，它们校验请求是否包含所需要的对应参数信息

过滤器链的最后一端(最靠近REST API 的一端) 是 **FilterSecurityInterceptor**，它决定你的请求能否访问你的服务，它的决定取决于配置代码(例如简单示例中的 BrowserSecurityConfig )。检验通过准许访问，校验不通过根据代码抛出异常。

在 FilterSecurityInterceptor 前还有一个 **ExceptionTranslationFilter** ，用于捕获 FilterSecurityInterceptor 抛出的异常。并根据前面的校验类型(UsernamePasswordAuthenticationFilter 或者 BasicAuthenticationFilter) 重定向到对应的地址。

### 1.4 spring security 登陆源码解读

**常用UsernamePassword登陆方式**

#### 1.4.1 UsernamePasswordAuthenticationFilter#attemptAuthentication

(org.springframework.security.web.authentication.UsernamePasswordAuthenticationFilter#attemptAuthentication)
用户名密码认证过滤器

```
public Authentication attemptAuthentication(HttpServletRequest request,
			HttpServletResponse response) throws AuthenticationException {
		if (postOnly && !request.getMethod().equals("POST")) {
			throw new AuthenticationServiceException(
					"Authentication method not supported: " + request.getMethod());
		}

		String username = obtainUsername(request);
		String password = obtainPassword(request);

		if (username == null) {
			username = "";
		}

		if (password == null) {
			password = "";
		}

		username = username.trim();

		UsernamePasswordAuthenticationToken authRequest = new UsernamePasswordAuthenticationToken(
				username, password);

		// Allow subclasses to set the "details" property
		setDetails(request, authRequest);

		return this.getAuthenticationManager().authenticate(authRequest);
	}
```

获取请求中的 username 和 password ，初始化用户名密码身份验证令牌(UsernamePasswordAuthenticationToken)，设置**身份验证状态为 false**

#### 1.4.2 AuthenticationManager

org.springframework.security.authentication.AuthenticationManager

**AuthenticationManager 管理 AuthenticationProvider**
org.springframework.security.authentication.ProviderManager#authenticate
*ProviderManager 实现 AuthenticationManager*

```
public Authentication authenticate(Authentication authentication)
			throws AuthenticationException {
		Class<? extends Authentication> toTest = authentication.getClass();
		AuthenticationException lastException = null;
		Authentication result = null;
		boolean debug = logger.isDebugEnabled();

		for (AuthenticationProvider provider : getProviders()) {
			if (!provider.supports(toTest)) {
				continue;
			}

...
```

通过 getProviders() 获取所有的 AuthenticationProvider 循环进行处理，因为 security 支持多种登陆方式，每个方式对应一个 AuthenticationProvider

**1.判断获取的 provider 是否，支持当前插入的 authentication**
当前传入为 UsernamePasswordAuthenticationToken，当为 DaoAuthenticationProvider 时验证通过

```
	if (!provider.supports(toTest)) {
		continue;
	}
```

**存疑:**

```
当前 getProviders() 有且只有 AnonymousAuthenticationProvider 校验不通过，调用父 AuthenticationManager (仍为 ProviderManager)，getProviders() 有且只有 DaoAuthenticationProvider 涉及容器初始化。
```

**2.调用 provider 的 authenticate() 方法进行处理**

```
try {
	result = provider.authenticate(authentication);

	if (result != null) {
		copyDetails(authentication, result);
		break;
	}
}
```

此处调用了 DaoAuthenticationProvider#authenticate 没有实现调用抽象类AbstractUserDetailsAuthenticationProvider#authenticate



#### 1.4.3 AuthenticationProvider

org.springframework.security.authentication.AuthenticationProvider

***#authenticate***

```
public Authentication authenticate(Authentication authentication)
			throws AuthenticationException {
		Assert.isInstanceOf(UsernamePasswordAuthenticationToken.class, authentication,
				messages.getMessage(
						"AbstractUserDetailsAuthenticationProvider.onlySupports",
						"Only UsernamePasswordAuthenticationToken is supported"));

		// Determine username
		String username = (authentication.getPrincipal() == null) ? "NONE_PROVIDED"
				: authentication.getName();

		boolean cacheWasUsed = true;
		UserDetails user = this.userCache.getUserFromCache(username);

		if (user == null) {
			cacheWasUsed = false;

			try {
				user = retrieveUser(username,
						(UsernamePasswordAuthenticationToken) authentication);
			}
			catch (UsernameNotFoundException notFound) {
				logger.debug("User '" + username + "' not found");

				if (hideUserNotFoundExceptions) {
					throw new BadCredentialsException(messages.getMessage(
							"AbstractUserDetailsAuthenticationProvider.badCredentials",
							"Bad credentials"));
				}
				else {
					throw notFound;
				}
			}
......
```

**1.通过 retrieveUser 获取用户信息**  
**2.使用preAuthenticationChecks.check(user); 做预检查**  
**3.使用 additionalAuthenticationChecks(user, (UsernamePasswordAuthenticationToken) authentication); 做附加检查（使用加密器检查密码是否匹配）**  
**4.使用 postAuthenticationChecks.check(user);后检查，校验用户帐户凭证是否已过期**  
**5.验证完成，创建一个 SuccessAuthentication**  



***#retrieveUser***

```
protected final UserDetails retrieveUser(String username,
			UsernamePasswordAuthenticationToken authentication)
			throws AuthenticationException {
		prepareTimingAttackProtection();
		try {
			UserDetails loadedUser = this.getUserDetailsService().loadUserByUsername(username);
			if (loadedUser == null) {
				throw new InternalAuthenticationServiceException(
						"UserDetailsService returned null, which is an interface contract violation");
			}
			return loadedUser;
		}
```

**通过 this.getUserDetailsService().loadUserByUsername(username) 调用我们实现的UserDetailsService#loadUserByUsername 方法，使用 username 获取用户并返回**

```
UserDetails loadedUser = this.getUserDetailsService().loadUserByUsername(username);
```

***AbstractUserDetailsAuthenticationProvider.DefaultPreAuthenticationChecks***
org.springframework.security.authentication.dao.AbstractUserDetailsAuthenticationProvider.DefaultPreAuthenticationChecks#check

```
		public void check(UserDetails user) {
			if (!user.isAccountNonLocked()) {
				logger.debug("User account is locked");

				throw new LockedException(messages.getMessage(
						"AbstractUserDetailsAuthenticationProvider.locked",
						"User account is locked"));
			}

			if (!user.isEnabled()) {
				logger.debug("User account is disabled");

				throw new DisabledException(messages.getMessage(
						"AbstractUserDetailsAuthenticationProvider.disabled",
						"User is disabled"));
			}

			if (!user.isAccountNonExpired()) {
				logger.debug("User account is expired");

				throw new AccountExpiredException(messages.getMessage(
						"AbstractUserDetailsAuthenticationProvider.expired",
						"User account has expired"));
			}
		}
```

**1.user.isAccountNonLocked() 判断用户是否被锁定**  
**2.user.isEnabled() 判断用户是否无效**  
**3.user.isAccountNonExpired() 判断用户是否过期**  


***org.springframework.security.authentication.dao.AbstractUserDetailsAuthenticationProvider.DefaultPostAuthenticationChecks#check***

```
public void check(UserDetails user) {
	if (!user.isCredentialsNonExpired()) {
		logger.debug("User account credentials have expired");

		throw new CredentialsExpiredException(messages.getMessage(
				"AbstractUserDetailsAuthenticationProvider.credentialsExpired",
				"User credentials have expired"));
	}
}
```

**1.用户帐户凭证是否已过期**


#### 1.4.4 AbstractUserDetailsAuthenticationProvider

org.springframework.security.authentication.dao.AbstractUserDetailsAuthenticationProvider#createSuccessAuthentication

与1.4.1中一样，创建用户名密码身份验证令牌(UsernamePasswordAuthenticationToken)，设置**身份验证状态为 true**


#### 1.4.5 AbstractAuthenticationProcessingFilte

org.springframework.security.web.authentication.AbstractAuthenticationProcessingFilter#successfulAuthentication
(org.springframework.security.web.authentication.AbstractAuthenticationProcessingFilter#doFilter 中调用)

```
protected void successfulAuthentication(HttpServletRequest request,
			HttpServletResponse response, FilterChain chain, Authentication authResult)
			throws IOException, ServletException {

		if (logger.isDebugEnabled()) {
			logger.debug("Authentication success. Updating SecurityContextHolder to contain: "
					+ authResult);
		}

		SecurityContextHolder.getContext().setAuthentication(authResult);

		rememberMeServices.loginSuccess(request, response, authResult);

		// Fire event
		if (this.eventPublisher != null) {
			eventPublisher.publishEvent(new InteractiveAuthenticationSuccessEvent(
					authResult, this.getClass()));
		}

		successHandler.onAuthenticationSuccess(request, response, authResult);
	}
```

**1.多请求共享**

```
SecurityContextHolder.getContext().setAuthentication(authResult);
```

 - 把用户信息放到 SecurityContext, 传递到 SecurityContextHolder 中。SecurityContextPersistenceFilter 通过 SecurityContextHolder 在多个请求中共享用户信息。
 - **SecurityContextHolder**是对 TreadLocal 的封装
 - **SecurityContextPersistenceFilter**位于security过滤器链的最前端：当请求进来时，检查 session 是否存在对应的 SecurityContext ，如果存在，把 SecurityContext 放到当前线程；当请求出去时，检查当前线程是否存在 SecurityContext，如果存在，把 SecurityContext 放到 session 中
 - MVC 可以使用 @AuthenticationPrincipal 参数获取对应的 UserDetails 信息

**2.successHandler.onAuthenticationSuccess(request, response, authResult); 调用自己的登陆成功处理器**

#### 1.4.5 总结

AbstractAuthenticationProcessingFilter#doFilter ->
UsernamePasswordAuthenticationFilter(Authentication 未认证) ->
AuthenticationManager -> AuthenticationProvider -> UserDetailsService -> UserDetails -> Authentication（已认证）


## 2.一些用法

### 2.1 自定义登录页面

http.formLogin().loginPage("/xxx")

### 2.2 自定义登录成功处理和登录失败处理

**实现 AuthenticationSuccessHandler 处理登录成功**

```
@Component()
public class BrowserAuthenticationSuccessHandler implements AuthenticationSuccessHandler {
    @Override
    public void onAuthenticationSuccess(HttpServletRequest request, HttpServletResponse response, Authentication authentication) throws IOException, ServletException {
        System.out.println("================test success");
    }
}

```

**实现 AuthenticationFailureHandler 处理登录失败**

```
@Component
public class BrowserAuthenticationFailureHandler implements AuthenticationFailureHandler {
    @Override
    public void onAuthenticationFailure(HttpServletRequest request, HttpServletResponse response, AuthenticationException exception) throws IOException, ServletException {
        System.err.println("==================test fail");
    }
}
```

**配置文件添加相关的配置**

```
@Autowired
    private BrowserAuthenticationSuccessHandler browserAuthenticationSuccessHandler;
    @Autowired
    private BrowserAuthenticationFailureHandler browserAuthenticationFailureHandler;

    @Override
    protected void configure(HttpSecurity http) throws Exception {
//        http.httpBasic()
        http.formLogin()
                .successHandler(browserAuthenticationSuccessHandler)
                .failureHandler(browserAuthenticationFailureHandler)
                .and()
                // request 验证
                .authorizeRequests()
                // 任何请求
                .anyRequest()
                .authenticated()
        ;
        //关闭默认的csrf认证
        http.csrf().disable();
    }
```

### 2.3 自定义登录验证

**实现 UserDetailsService 接口即可(保证有且只有一个 UserDetailsService 接口实现类)**

```
@Component
public class UserDetailServiceImpl implements UserDetailsService {
    private Logger log = LoggerFactory.getLogger(UserDetailServiceImpl.class);
    @Override
    public UserDetails loadUserByUsername(String username) throws UsernameNotFoundException {
        log.info("username : " + username);
        return new User(username, "123456", AuthorityUtils.commaSeparatedStringToAuthorityList("*"));
    }
}
```

```
@Configuration
public class BeanConfig {
    @Bean
    public PasswordEncoder passwordEncoder(){
        return new MyPasswordEncoder();
    }
}
```

HDFS 概述

1. HDFS 产生背景及定义

1.1 产生背景

1.2 HDFS 定义

Hadoop 组成

1. Hadoop 组成

1.1 HDFS 架构概述：分布式文件系统

Cloundera Manager Install

系统环境准备

1.VMware 安装

2.VMware 安装 CentOS 7

3.网络设置

1. spring security 的基本原理

1.1 添加 spring security 依赖后的情况

1. Java内存区域与内存溢出异常

1.1 运行时数据区域