# netty-概述

## 1.总体概述

### 1.1 描述

Netty is *an ```asynchronous``` ```event-driven``` ```network application framework```*
for rapid development of maintainable ```high performance``` protocol servers & clients.

- asynchronous 异步的
- event-driven 事件驱动
- network application framework 网络应用框架
- high performance 高性能的



### 1.2 架构

![1-components.png](https://hjl18.com/static/img/334d6816d06dbb1d4041170c2ccddf31.1-components.png)





### 1.3 优点

- 设计优雅：
  - 适用于各种**传输类型的统一**API阻塞和非阻塞Socket；
  - 基于灵活且可扩展的事件模型，可以清晰地**分离关注点**；
  - 高度可定制的线程模型-单线程，一个或多个线程池。
- 使用方便：
  - 详细的 javaDoc， 用户指南和示例
  - 没有其他依赖
- 高性能、高吞吐量；延迟低；资源消耗少；最小化不必要的内存复制
- 安全：完整的SSL/TLS和StartTLS支持。
- 社区活跃、不断更新



### 1.4 版本说明

- 版本有 3.x ,4.x, 5.x
- 3.x 太旧，5.x 出现重大bug已被废弃，推荐使用 Netty4.x 的稳定版



## 2.线程模型概述

### 2.1 基本线程模型

***参考 《scalable io in java》***

- 目前存在的线程模型有：
  - 传统阻塞 I/O 服务模型
  - Reactor 模式
    - 单Reactor单线程；
    - 单Reactor多线程；
    - 主从Reactor多线程
  - Netty 线程模式（Netty 主要基于主从Reactor多线程模型做了一定的改进，其中主从 Reactor 多线程模型有多个Reactor）

#### 2.1.1 传统阻塞 I/O 服务模型

- 工作原理图

![1-model-bio.png](https://hjl18.com/static/img/937bd98e40052de42d12766b3dea787e.1-model-bio.png)

- 模型特点
  - 采用阻塞 IO 模式获取输入的数据
  - 每个连接都需要独立的线程完成数据的输入，业务处理，数据返回
- 问题分析
  - 当并发数很大，就会创建大量的线程，占用很大系统资源
  - 连接创建后，如果当前线程暂时没有数据可读，该线程会阻塞在read操作，造成线程资源浪费

#### 2.1.2 Reactor 模式

**（也叫反应器模式，分发者模式（Dispatcher），通知者模式（notifier））**

- 针对传统阻塞 l/O 服务模型的2个缺点，解决方案：
  - 基于I/O复用模型：多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象等待，无需阻塞等待所有连接。当某个连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理
  - 基于线程池复用线程资源：不必再为每个连接创建线程，将连接完成后的业务处理任务分配给线程进行处理，一个线程可以处理多个连接的业务。

- 工作原理图

![1-model-Reactor-1.png](https://hjl18.com/static/img/2a793d1246d32c716e6071ea0178ec9c.1-model-Reactor-1.png)

- 说明
  - 一个或多个输入同时传递给服务处理器的一种模式，基于事件驱动
  - 服务器端程序处理传入的多个请求，并将它们同步分派到相应的处理线程 - dispatcher
  - 使用 IO 复用监听事件，收到事件后分发给不同线程，**这是网络处理高并发关键**

- 核心注册部分
  - Reactor: 在一个单独的线程中运行，负责监听和分发事件，分发给当的处理程序来对 IO 事件做出反应
  - Handlers：处理程序执行I/0事件要完成的实际事件
  - Reactor 通过调度适当的处理程序来响应 I/O 事件，处理程序执行非阻塞操作

##### 2.1.2.1 单 Reactor 模式

- 工作原理图

![1-model-Reactor-2.png](https://hjl18.com/static/img/e519ade44027b25cff1c2e8a6a9de032.1-model-Reactor-2.png)

- 方案说明
  - Select是前面 l/O 复用模型介绍的标准网络编程APl
  - Reactor 对象通过Select监控客户端请求事件，收到事件后通过Dispatch进行分发
  - 如果是建立连接请求事件，则由Acceptor 通过Accept处理连接请求，然后创建一个 Handler 对象处理连接完成后的后续业务处理
  - 如果不是建立连接事件，则Reactor会分发调用连接对应的Handler来响应
  - Handler会完成Read>业务处理>Send的完整业务流程

- 优点：
  - 模型简单，没有多线程、进程通信、竞争的问题，全部都在一个线程中完成
- 缺点：
  - 性能问题，只有一个线程，无完全发挥多核CPU的性能。Handler在处理某个连接上的业务时，整个进程无法处理其他连接事件，很容易导致性能瓶颈
  - 可靠性问题，线程意外终止，或者进入死循环，会导致整个系统通信模块不可用，不能接收和处理外部消息，造成节点故障
- 使用场景：
  - 客户端的数量有限，业务处理非常快速，比如 Redis 在业务处理的时间复杂度 O(1) 的情况

##### 2.1.2.2 单Reactor多线程

- 工作原理图

![1-model-Reactor-3.png](https://hjl18.com/static/img/3142b637af9fc07f2a9ae8e24537262e.1-model-Reactor-3.png)

- 方案说明:
  - Reactor 对象通过select监控客户端请求事件，收到事件后，通过dispatch进行分发
  - 如果建立连接请求，则由 Acceptor 通过 accept 处理连接请求，然后创建一个Handler对象处理完成连接后的各种事件
  - 如果不是连接请求，则由 reactor 分发调用连接对应的 handler 来处理
  - handler 只负责响应事件，不做具体的业务处理，通过read读取数据后，会分发给后面的worker线程池的某个线程处理业务
  - worker 线程池会分配独立线程完成真正的业务，并将结果返回给 handler
  - handler 收到响应后，通过send将结果返回给 client

- 优点：可以充分的利用多核 cpu 的处理能力

- 缺点：多线程数据共享和访问比较复杂，reactor 处理所有的事件的监听和响应，在单线程运行，在高并发场景容易出现性能瓶颈.


##### 2.1.2.3 主从Reactor多线程

- 工作原理图

![1-model-Reactor-4.png](https://hjl18.com/static/img/355bcb52fd94f699c0c658ab7aea5b5b.1-model-Reactor-4.png)

- 方案说明
  - Reactor 主线程 MainReactor 对象通过 select 监听连接事件，收到事件后，通过 Acceptor 处理连接事件
  - 当 Acceptor 处理连接事件后，MainReactor 将连接分配给 SubReactor
  - subreactor 将连接加入到连接队列进行监听，并创建 handler 进行各种事件处理
  - 当有新事件发生时，subreactor 就会调用对应的 handler 处理
  - handler 通过 read 读取数据，分发给后面的 worker 线程处理
  - worker 线程池分配独立的 worker 线程进行业务处理，并返回结果
  - handler 收到响应的结果后，再通过 send 将结果返回给 client
  - **一个 MainReactor 可以关联多个 SubReactor**

- 优点：
  - 父线程与子线程的数据交互简单职责明确，父线程只需要接收新连接，子线程完成后续的业务处理
  - 父线程与子线程的数据交互简单，Reactor 主线程只需要把新连接传给子线程，子线程无需返回数据。
- 缺点：
  - 编程复杂度较高
- 使用：
  - Nginx 主从 Reactor 多进程模型
  - Memcached 主从多线程
  - Netty主从多线程模型的支持



#### 2.1.3 netty 线程模型



### 2.2 netty 线程模型

#### 2.2.1 netty 线程模型

- 工作原理图-简易版

![1-model-netty-1.png](https://hjl18.com/static/img/a2dce03fa233e0250f137b132da4d1af.1-model-netty-1.png)

- 工作原理图-进阶版

![1-model-netty-2.png](https://hjl18.com/static/img/e01521c7de4c9fbd557867f6e5c8c1b5.1-model-netty-2.png)

- 说明
  - BossGroup 线程维护 Selector，只关注 Accecpt
  - 当接收到 Accept 事件，获取到对应的 SocketChannel，封装成 NIOScoketChannel 并注册到 Worker 线程（事件循环），并进行维护
  - 当 Worker 线程监听到 selector 中通道发生自己感兴趣的事件后，就进行处理（就由 handler ），注意
    handler已经加入到通道



#### 2.2.2 netty 线程模型——详细版

- 工作原理图

![1-model-netty-3.png](https://hjl18.com/static/img/540ac7883c8eb5166f1e6a0e1046fb7f.1-model-netty-3.png)

- 说明
  - Netty 抽象出两组线程池 BossGroup 专门负责接收客户端的连接，WorkerGroup 专门负责网络的读写
  - BossGroup 和 WorkerGroup 类型都是 NioEventLoopGroup
  - NioEventLoopGroup 相当于一个事件循环组，这个组中含有多个事件循环，每一个事件循环是NioEventLoop
  - NioEventLoop 表示一个不断循环的执行处理任务的线程，每个 NioEventLoop 都有一个 selector，用于监听绑定在其上的 socket 的网络通讯
  - NioEventLoopGroup 可以有多个线程，即可以含有多个 NioEventLoop
  - 每个Boss NioEventLoop循环执行的步骤有3步
    - 轮询 accept 事件
    - 处理 accept 事件，与 client 建立连接，生成 NioScocketChannel，并将其注册到某个 worker NioEventLoop 上的 selector
    - 处理任务队列的任务，即runAllTasks
  - 每个 Worker NioEventLoop循环执行的步骤
    - 轮询 read，write 事件
    - 处理 i/o 事件，即 read，write 事件，在对应 NioScocketChannel 处理
    - 处理任务队列的任务，即 runAllTasks
  - 每个Worker NIOEventLoop 处理业务时，会使用pipeline（管道），pipeline中包含了channel，即通过pipeline可以获取到对应通道，管道中维护了很多的处理器

netty 入门

这样读书就够了

# awk

## 1. 语法构造



> BEGIN {awk-commands}  <opt> {awk-commands}  END {awk-commands}



- **BDGIN 语句块**： BEGIN {awk-commands}
  - 初始化变量，只执行一次
  - BEGIN 关键字，必须大写
  - 可选的(非必须的)
- **BODY语句块**： {awk-commands}
  - 每一行输入执行一次
  - 没有关键字
  - 通过模式来控制
- **END语句块**： END {awk-commands}
  - 程序最后执行
  - END 关键字，必须为大写
  - 可选的





## 2. 语法

### 2.1 基本语法

#### 2.1.1 AWK 命令行

- 使用**单引号**在命令行中指定 AWK 命令

  ```bash
  awk [options] file ...
  ```

- 例子

  ```bash
  $ awk '{print}' marks.txt 
  ```

  

#### 2.1.2 AWK程序文件

- 使用脚本文件提供AWK命令

  ```bash
  awk [options] -f file ....
  ```

- 例子

  - 创建一个 *command.awk* 文件

    ```bash
    {print} 
    ```

  - 执行命令(效果与 2.1.1 中例子一致)

    ```bash
    $ awk -f command.awk marks.txt
    ```



### 2.2 标准选项

#### 2.2.1 `-v` 变量赋值选项

- 命令

  ```bash
  -v var=val
  --assign var=val
  ```

  将一个值赋予一个变量，它会在程序开始之前进行赋值

- 例子

  ```bash
  $ awk -v name=Test 'BEGIN{printf "Name = %s\n", name}'
  Name = Test
  ```



#### 2.2.2 `--dump-variables[=file]` 选项

- 命令

  ```bash
  -d[file]
  --dump-variables[=file]
  ```

  输出排好序的全局变量列表和它们最终的值到文件中，默认的文件是 **awkvars.out**

- 例子

  ```bash
  [root@rcmaster ~]# awk -dtemp.out ''
  [root@rcmaster ~]# cat temp.out 
  ARGC: 1
  ARGIND: 0
  ARGV: array, 1 elements
  BINMODE: 0
  CONVFMT: "%.6g"
  ERRNO: ""
  FIELDWIDTHS: ""
  FILENAME: ""
  FNR: 0
  FPAT: "[^[:space:]]+"
  FS: " "
  IGNORECASE: 0
  LINT: 0
  NF: 0
  NR: 0
  OFMT: "%.6g"
  OFS: " "
  ORS: "\n"
  RLENGTH: 0
  RS: "\n"
  RSTART: 0
  RT: ""
  SUBSEP: "\034"
  TEXTDOMAIN: "messages"
  ```



#### 2.2.3 `--lint[=fatal]` 选项

- 该选项允许检查程序的不兼容性或者模棱两可的代码，当提供参数 **fatal**的时候，它会对待Warning消息作为Error。

- 命令

  ```bash
  -L [value]
  --lint[=value]
  ```

  检查程序的不兼容性或者模棱两可的代码，当提供参数 **fatal** 的时候，它会对待Warning消息作为Error。

- 例子

  ```bash
  $ awk --lint '' /bin/ls
  awk: cmd. line:1: warning: empty program text on command line
  awk: cmd. line:1: warning: source file does not end in newline
  awk: warning: no program text at all!
  ```



#### 2.2.4 `--posix` 选项

- 命令

  ```bash
  -P
  --posix
  ```

  该选项开启严格的POSIX兼容。



#### 2.2.5 `--profile[=file]`选项

- 命令

  ```bash
  -p[prof_file]
  --profile[=prof_file]
  ```

  该选项会输出一份格式化之后的程序到文件中，默认文件是 *awkprof.out*。

- 例子

  ```bash
  $ awk --profile 'BEGIN{printf"---|Header|--\n"} {print} END{printf"---|Footer|---\n"}' marks.txt > /dev/null 
  $ cat awkprof.out
      # gawk 配置, 创建 Wed Oct 26 15:05:49 2016
  
      # BEGIN 块
  
      BEGIN {
          printf "---|Header|--\n"
      }
  
      # 规则
  
      {
          print $0
      }
  
      # END 块
  
      END {
          printf "---|Footer|---\n"
      }
  ```

  

#### 2.2.6 `--traditional` 选项

- 命令

  ```bash
  -c
  --traditional
  ```

  禁止所有的gawk规范的扩展。



#### 2.2.7 `--version` 选项

- 命令

  ```bash
  -V
  --version
  ```

  输出版本号

- 例子

  ```bash
  [root@rcmaster ~]# awk -V
  GNU Awk 4.0.2
  Copyright (C) 1989, 1991-2012 Free Software Foundation.
  
  This program is free software; you can redistribute it and/or modify
  it under the terms of the GNU General Public License as published by
  the Free Software Foundation; either version 3 of the License, or
  (at your option) any later version.
  
  This program is distributed in the hope that it will be useful,
  but WITHOUT ANY WARRANTY; without even the implied warranty of
  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  GNU General Public License for more details.
  
  You should have received a copy of the GNU General Public License
  along with this program. If not, see http://www.gnu.org/licenses/.
  ```



### 2.3 内建变量

#### 2.3.1 标准 AWK 变量(一)

##### 2.3.1.1 ARGC 命令行参数个数

```bash
[root@rcmaster ~]# awk 'BEGIN {print "Arguments =", ARGC}' a b c d
Arguments = 5
```



##### 2.3.1.2 ARGV 命令行参数数组

```bash
[root@rcmaster ~]# awk 'BEGIN {
>   for(i=0;i<ARGC-1;++i){
>     printf "ARGV[%d]=%s\n", i, ARGV[i]
>   }
> }' a b c d
ARGV[0]=awk
ARGV[1]=a
ARGV[2]=b
ARGV[3]=c
```

- 索引范围从**0** - **ARGC - 1**



##### 2.3.1.3 CONVFMT 数字的约定格式

```bash
$ awk 'BEGIN { print "Conversion Format =", CONVFMT }'
Conversion Format = %.6g
```

- 默认值是**%.6g**



##### 2.3.1.4 ENVIRON 环境变量

```bash
[root@admin109 ~]# awk 'BEGIN {print ENVIRON["JAVA_HOME"]}'
/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64
```



##### 2.3.1.5 FILENAME 当前文件名

```
[root@admin109 ~]# awk 'END {print FILENAME}' anaconda-ks.cfg 
anaconda-ks.cfg
```

- END 中使用



##### 2.3.1.6 FS 输入字段的分隔符

代表了输入字段的分隔符，默认值为**空格**，可以通过`-F`选项在命令行选项中修改它。

```bash
$ awk 'BEGIN {print "FS = " FS}' | cat -vte
FS =  $
$ awk -F , 'BEGIN {print "FS = " FS}' | cat -vte
FS = ,$
```



##### 2.3.1.7 NF 字段数目

代表了当前行中的字段数目，例如下面例子打印出了包含大于两个字段的行

```bash
$ echo -e "One Two\nOne Two Three\nOne Two Three Four" | awk 'NF > 2'
One Two Three
One Two Three Four
```



##### 2.3.1.8 NR 行号

```bash
$ echo -e "One Two\nOne Two Three\nOne Two Three Four" | awk 'NR < 3'
One Two
One Two Three
```



##### 2.3.1.9 FNR 行号（相对当前文件）

与NR相似，不过在处理多文件时更有用，获取的行号相对于当前文件。



##### 2.3.1.10 OFMT 输出格式数字

默认值为**%.6g**

```bash
$ awk 'BEGIN {print "OFMT = " OFMT}'
OFMT = %.6g
```



##### 2.3.1.11 OFS 输出字段分隔符

输出字段分隔符，默认为空格

```bash
$ awk 'BEGIN {print "OFS = " OFS}' | cat -vte
OFS =  $
```



##### 2.3.1.12 ORS 输出行分隔符

默认值为换行符

```bash
$ awk 'BEGIN {print "ORS = " ORS}' | cat -vte
ORS = $
$
```



##### 2.3.1.13 RLENGTH

代表了 **match** 函数匹配的字符串长度。

```bash
$ awk 'BEGIN { if (match("One Two Three", "re")) { print RLENGTH } }'
2
```



##### 2.3.1.14 RS 输入记录分隔符

```bash
$ awk 'BEGIN {print "RS = " RS}' | cat -vte
RS = $
$
```



##### 2.3.1.15 RSTART

**match**函数匹配的第一次出现位置

```bash
$ awk 'BEGIN { if (match("One Two Three", "Thre")) { print RSTART } }
9
```



##### 2.3.1.16 SUBSEP 数组子脚本的分隔符

数组子脚本的分隔符，默认为**\034**

```bash
$ awk 'BEGIN { print "SUBSEP = " SUBSEP }' | cat -vte
SUBSEP = ^\$
```



#### 2.3.2 标准 AWK 变量(二)

- **$ 0** 代表了当前行

- **$n** 当前行中的第n个字段

```bash
[root@rcmaster ~]# cat awk.test.txt 
line1 value 5
line2 value 10
line3 value 15
line4 value 20
```

```bash
[root@rcmaster ~]# awk '{print $0, "|", $1, "|", $2}' awk.test.txt 
line1 value 5 | line1 | value
line2 value 10 | line2 | value
line3 value 15 | line3 | value
line4 value 20 | line4 | value
```



#### 2.3.3 GNU AWK的变量

##### 2.3.3.1 ARGIND

当前被处理的ARGV的索引

```bash
$ awk '{ 
   print "ARGIND   = ", ARGIND; print "Filename = ", ARGV[ARGIND] 
}' junk1 junk2 junk3
ARGIND   =  1
Filename =  junk1
ARGIND   =  2
Filename =  junk2
ARGIND   =  3
Filename =  junk3
```



##### 2.3.3.2 BINMODE

在非POSIX系统上指定对所有的文件I/O采用二进制模式。



##### 2.3.3.3 ERRORNO

一个代表了**getline**跳转失败或者是**close**调用失败的错误的字符串。

```bash
$ awk 'BEGIN { ret = getline < "junk.txt"; if (ret == -1) print "Error:", ERRNO }'
Error: No such file or directory
```



##### 2.3.3.4 FIELDWIDTHS

设置了空格分隔的字段宽度变量列表的话，GAWK会将输入解析为固定宽度的字段，而不是使用**FS**进行分隔。



##### 2.3.3.5 IGNORECASE

设置了这个变量的话，AWK会忽略大小写。

```bash
$ awk 'BEGIN{IGNORECASE = 1} /amit/' marks.txt
1) Amit  Physics   80
```



##### 2.3.3.6 LINT

提供了对**--lint**选项的动态控制。

```bash
$ awk 'BEGIN {LINT = 1; a}'
awk: cmd. line:1: warning: reference to uninitialized variable `a'
awk: cmd. line:1: warning: statement has no effect
```



##### 2.3.3.7 PROCINFO

包含进程信息的关联数组，例如UID，进程ID等

```bash
$ awk 'BEGIN { print PROCINFO["pid"] }'
4316
```



##### 2.3.3.8 TEXTDOMAIN

代表了AWK的文本域，用于查找字符串的本地化翻译。

```bash
$ awk 'BEGIN { print TEXTDOMAIN }'
messages
```





### 2.4 操作符



#### 2.4.1 计算

>  **+-\*/%**



#### 2.4.2 增减运算符

自增自减

> ++i, i++, --i, i--



#### 2.4.3 赋值操作符

> =



#### 2.4.4 关系操作符

> ==
>
> < 
>
> <=
>
> \>
>
> \>=
>
> !=



#### 2.4.5 逻辑操作符

> &&
>
> ||
>
> !



#### 2.4.6 三元操作符

> express ?  [express1|value1] : [express2|value2]



#### 2.4.7 一元操作符

> =-
>
> =+



#### 2.4.8 指数操作符

> t^num



#### 2.4.9 字符串连接操作符

> $ awk 'BEGIN { str1 = "Hello, "; str2 = "World"; str3 = str1 str2; print str3 }'
> Hello, World



#### 2.4.10 数组成员操作符

> arra[index]



#### 2.4.11 正则表达式操作符

正则表达式操作符使用 **~** 和 **!~** 分别代表匹配和不匹配。

```
$ awk '$0 ~ 9' marks.txt
2) Rahul   Maths    90
5) Hari    History  89

$ awk '$0 !~ 9' marks.txt
1) Amit     Physics   80
3) Shyam    Biology   87
4) Kedar    English   85

# 匹配正则表达式需要在表达式前后添加反斜线，与js类似吧
$ tail -n 40 /var/log/nginx/access.log | awk '$0 ~ /ip\[127\.0\.0\.1\]/'
```



### 2.5 数组

#### 2.5.1 创建

> arrayName[index] = value

不仅可以使用数字索引的数组，还可以使用字符串作为索引



#### 2.5.2 删除

>delete arrayName[index]



### 2.6 流程控制

> if(condition){
>
> ​	action
>
> } else if(condition){
>
> ​    action
>
> } else{
>
> ​    action
>
> }



### 2.7 循环

循环操作与其他C系语言一样，主要包括 `for`，`while`，`do...while`，`break`，`continue` 语句，当然，还有一个 `exit`语句用于退出脚本执行。

```
for (initialisation; condition; increment/decrement)
   action

while (condition)
   action

do
   action
while (condition)
```



### 2.8 函数

#### 2.8.1 内置函数

略



#### 2.8.2 自定义函数

```bash
function function_name(argument1, argument2, ...) { 
   function body
}
```



### 2.9 管道

> 与 linux 命令一致



### 2.10 执行shell命令



在AWK中执行shell命令有两种方式

- 使用`system`函数
- 使用管道



#### 2.10.1 使用system函数

**system**函数用于执行操作系统命令并且返回命令的退出码到awk。

```bash
END {
     system("date | mail -s 'awk run done' root")
}
```



## 3. 使用示例

```bash
[root@rcmaster ~]# ps -ef|grep Short|grep -v grep|awk 'BEGIN {printf "pid\n"}{print $2}'
pid
9444
[root@rcmaster ~]# ps -ef|grep Short|grep -v grep|kill -9 `awk '{print $2}'`
```

liunx命令：awk

# arthas 快速入门
## 1.启动
- java -jar arthas-boot.jar
```bat
D:\software\arthas-packaging-3.1.0-bin>java -jar arthas-boot.jar
[INFO] arthas-boot version: 3.1.0
[INFO] Found existing java process, please choose one and hit RETURN.
* [1]: 5924
  [2]: 11560 org.jetbrains.idea.maven.server.RemoteMavenServer
  [3]: 1580 com.yui.demo.arthas.ArthasApplication
```
选择一个进程启动 arthas



```bash
D:\software\arthas-packaging-3.1.0-bin>java -jar arthas-boot.jar
[INFO] arthas-boot version: 3.1.0
[INFO] Found existing java process, please choose one and hit RETURN.
* [1]: 5924
  [2]: 11560 org.jetbrains.idea.maven.server.RemoteMavenServer
  [3]: 1580 com.yui.demo.arthas.ArthasApplication
3
[INFO] arthas home: D:\software\arthas-packaging-3.1.0-bin
[INFO] Try to attach process 1580
[INFO] Found java home from System Env JAVA_HOME: D:\software\JDK\jdk1.8.0_111
[INFO] Attach process 1580 success.
[INFO] arthas-client connect 127.0.0.1 3658
  ,---.  ,------. ,--------.,--.  ,--.  ,---.   ,---.

 /  O  \ |  .--. ''--.  .--'|  '--'  | /  O  \ '   .-'

|  .-.  ||  '--'.'   |  |   |  .--.  ||  .-.  |`.  `-.

|  | |  ||  |\  \    |  |   |  |  |  ||  | |  |.-'    |

`--' `--'`--' '--'   `--'   `--'  `--'`--' `--'`-----'




wiki: https://alibaba.github.io/arthas
version: 3.1.0
pid: 1580
time: 2019-12-16 10:01:44
```



## 2.简单使用

官方文档链接： [https://alibaba.github.io/arthas/](https://alibaba.github.io/arthas/)

详细使用请查看官方文档。  

### 2.1 监控调用路径耗时

> trace <package> <method> ['#cost > time'] [-n times]

- package: 包名
- method: 方法名
- #cost: 过滤时间，如 '#cost > 10'
- -n: 指定监控次数

```bash
$ trace -j com.yui.demo.arthas.controller.StudyController addStudent -n 1
Press Q or Ctrl+C to abort.
Affect(class-cnt:1 , method-cnt:1) cost in 49 ms.
`---ts=2019-12-16 11:27:31;thread_name=http-nio-8081-exec-8;id=29;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@5eb2172
    `---[300.923668ms] com.yui.demo.arthas.controller.StudyController:addStudent()
        +---[300.041455ms] com.yui.demo.arthas.service.ArthasService:getSuccess()
        `---[0.554227ms] com.yui.demo.arthas.service.ArthasService:addStudent()

Command execution times exceed limit: 1, so command will exit. You can set it wi
th -n option.
```



### 2.2 修改日志级别

> logger --name ROOT --level debug

```bash
[arthas@9984]$ logger
 name         ROOT
 class        ch.qos.logback.classic.Logger
 classLoader  sun.misc.Launcher$AppClassLoader@18b4aac2
 classLoader  18b4aac2
 Hash
 level        INFO
 effectiveLe  INFO
 vel
 additivity   true
 codeSource   file:/D:/software/apache-maven-3.5.4/.m2/ch/qos/logback/logback-
              classic/1.2.3/logback-classic-1.2.3.jar
 appenders    name            CONSOLE
              class           ch.qos.logback.core.ConsoleAppender
              classLoader     sun.misc.Launcher$AppClassLoader@18b4aac2
              classLoaderHash 18b4aac2
              target          System.out
              
[arthas@9984]$ logger --name ROOT --level debug
update logger level success.
```



### 2.3 获取 ApplicationContext 为所欲为

> tt -t <package> <method> [params]

记录 package.method 的执行情况 (params==n 指定重载函数，如 params.length==1，‘params[1] instanceof Integer’)

- 返回参数

| 表格字段  | 字段解释                                                     |
| :-------- | :----------------------------------------------------------- |
| INDEX     | 时间片段记录编号，每一个编号代表着一次调用，后续tt还有很多命令都是基于此编号指定记录操作，非常重要。 |
| TIMESTAMP | 方法执行的本机时间，记录了这个时间片段所发生的本机时间       |
| COST(ms)  | 方法执行的耗时                                               |
| IS-RET    | 方法是否以正常返回的形式结束                                 |
| IS-EXP    | 方法是否以抛异常的形式结束                                   |
| OBJECT    | 执行对象的`hashCode()`，注意，曾经有人误认为是对象在JVM中的内存地址，但很遗憾他不是。但他能帮助你简单的标记当前执行方法的类实体 |
| CLASS     | 执行的类名                                                   |
| METHOD    | 执行的方法名                                                 |



> tt -i <INDEX>

通过执行完 tt -t 记录的 INDEX 使用对象应用



- 获取 ApplicationContext 并使用
  1. 记录 RequestMappingHandlerAdapter 对象引用
  2. 通过 tt -i 使用对象引用， -w 使用 ognl , target 为 arthas  表达式核心变量，指定为 本次调用类的实例

- $ ognl '@com.alibaba.dubbo.config.spring.ServiceBean@getSpringContext()'

```bash

[arthas@14420]$ tt -t org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter invokeHandlerMethod
Press Q or Ctrl+C to abort.
Affect(class-cnt:1 , method-cnt:1) cost in 60 ms.
 IND  TIMESTAMP   COST  IS-  IS-  OBJECT   CLASS              METHOD
 EX               (ms)  RET  EXP
-------------------------------------------------------------------------------
 100  2019-12-16  71.1  tru  fal  0x77863  RequestMappingHan  invokeHandlerMet
 0     15:22:57   8253  e    se   8ad      dlerAdapter        hod
                  5

[arthas@14420]$ tt -i 1000 -w 'target.getApplicationContext().getBean("arthasServiceImpl").showLog("test")'
@String[success]
Affect(row-cnt:1) cost in 6 ms.

[arthas@14420]$ tt -i 1000 -w 'target.getApplicationContext().getBean("arthasServiceImpl").addStudent(new com.yui.demo.arthas.dto.Student().setName("test01" ).setAge(14).setClassId({1,4,8}))'
@CopyOnWriteArrayList[
    @Student[Student(name=小江, age=15, classId=[1, 2, 5])],
    @Student[Student(name=小红, age=13, classId=[1, 2, 5])],
    @Student[Student(name=test01, age=14, classId=[1, 4, 8])],
]
Affect(row-cnt:1) cost in 38 ms.
```



### 2.4 ognl

- 静态方法：

  > @Class@method(args)

- 静态属性：

  > @Class@field

- map：

  > #{k1,v1,......}

- List:

  > {v1,v2.....}

- 新建对象:

  > new package.ClassName()

- 调用非静态方法:

  > object.method(args)

```bash
[arthas@14420]$ ognl '@com.yui.demo.arthas.service.impl.ArthasServiceImpl@show()'
null
[arthas@14420]$ ognl '@java.lang.System@currentTimeMillis()'
@Long[1576565975950]
[arthas@14420]$ ognl '#s1=new com.yui.demo.arthas.dto.Student(),#s1.setName("test01").setAge(14).setClassId({1,4,8}),#s1.toString()'
@String[Student(name=test01, age=14, classId=[1, 4, 8])]
```



## 3.侵入原理

- java agent

arthas 快速入门

# HDFS Shell操作

## 文件操作

### 1.查看帮助文档  -help  

> [root@server01 /]# hdfs dfs -help ls  

```
-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...] :
  List the contents that match the specified file pattern. If path is not
  specified, the contents of /user/<currentUser> will be listed. For a directory a
  list of its direct children is returned (unless -d option is specified).
  
  Directory entries are of the form:
  	permissions - userId groupId sizeOfDirectory(in bytes)
  modificationDate(yyyy-MM-dd HH:mm) directoryName
  
  and file entries are of the form:
  	permissions numberOfReplicas userId groupId sizeOfFile(in bytes)
  modificationDate(yyyy-MM-dd HH:mm) fileName
  
    -C  Display the paths of files and directories only.
    -d  Directories are listed as plain files.
    -h  Formats the sizes of files in a human-readable fashion
        rather than a number of bytes.
    -q  Print ? instead of non-printable characters.
    -R  Recursively list the contents of directories.
    -t  Sort files by modification time (most recent first).
    -S  Sort files by size.
    -r  Reverse the order of the sort.
    -u  Use time of last access instead of modification for
        display and sorting.
```




### 2.显示目标列表 -ls  

>[root@server01 /]# hdfs dfs -ls /cloudDisk

```
Found 1 items
drwxr-xr-x   - cloudera-scm supergroup          0 2018-07-25 10:15 /cloudDisk/smallFile
```

**只显示文件和目录的路径: -ls -C**  

>[root@server01 /]# hdfs dfs -ls -C /cloudDisk  

```
/cloudDisk/smallFile 
```

**递归地列出目录的内容: -ls -R**  

>[root@server01 /]# hdfs dfs -ls -R /cloudDisk  

```
drwxr-xr-x   - cloudera-scm supergroup          0 2018-07-25 10:15 /cloudDisk/smallFile
-rw-r--r--   3 cloudera-scm supergroup     530352 2018-07-24 09:15 /cloudDisk/smallFile/1021564417134678016
-rw-r--r--   3 cloudera-scm supergroup      88002 2018-07-24 11:19 /cloudDisk/smallFile/1021595649553838080
-rw-r--r--   3 cloudera-scm supergroup     107925 2018-07-24 16:18 /cloudDisk/smallFile/1021670959947255808
-rw-r--r--   3 cloudera-scm supergroup       8725 2018-07-25 10:15 /cloudDisk/smallFile/1021941940498526208
```

**-ls -R 和 -ls -t(-s|-r|-u) 连用不生效**  


### 3.查看文件大小 -du

>[hdfs@server01 /]$ hdfs dfs -du -h /cloudDisk/smallFile  

```
带下     磁盘占用   名称(完整路径)
517.9 K  1.5 M      /cloudDisk/smallFile/1021564417134678016
85.9 K   257.8 K    /cloudDisk/smallFile/1021595649553838080
105.4 K  316.2 K    /cloudDisk/smallFile/1021670959947255808
8.5 K    25.6 K     /cloudDisk/smallFile/1021941940498526208
```

**参数 -s 表示总和**  

### 4.查看目录的大小 -count

>[hdfs@server01 /]$ hdfs dfs -count -h /cloudDisk/smallFile  

```
	目录数       文件数       字节数
    1            4            717.8 K /cloudDisk/smallFile
```

### 5.创建新目录 -mkdir

>[hdfs@server01 /]# hdfs dfs -mkdir /home  

```
mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
```

**此处因为使用 root 用户，权限不足导致创建目录失败** 
使用命令

>[hdfs@server01 /]# su hdfs  
>进入hdfs用户即可，重新执行命令  
>[hdfs@server01 /]# hdfs dfs -mkdir /home 
>[hdfs@server01 /]$ hdfs dfs -ls /  

```
Found 6 items
drwxr-xr-x   - cloudera-scm supergroup          0 2018-07-24 09:15 /cloudDisk
drwxr-xr-x   - hbase        hbase               0 2018-07-24 08:44 /hbase
drwxr-xr-x   - hdfs         supergroup          0 2018-08-22 15:10 /home
drwxrwxr-x   - solr         solr                0 2018-07-20 09:44 /solr
drwxrwxrwt   - hdfs         supergroup          0 2018-07-20 09:46 /tmp
drwxr-xr-x   - hdfs         supergroup          0 2018-08-22 15:09 /user
```

**当需要创建不存在的父路径时可以使用参数 -p**  

>[hdfs@server01 /]$ hdfs dfs -mkdir -p /home/t2/t3  

### 6.复制文件到目录 -cp from to

>[hdfs@server01 /]$ hdfs dfs -ls -R /home  

```
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:34 /home/t1
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2/t3
```

>[hdfs@server01 /]$ hdfs dfs -cp /cloudDisk /home/t1  
>[hdfs@server01 /]$ hdfs dfs -ls -R /home  

```
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:35 /home/t1
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:35 /home/t1/cloudDisk
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:35 /home/t1/cloudDisk/smallFile
-rw-r--r--   3 hdfs supergroup     530352 2018-08-22 15:35 /home/t1/cloudDisk/smallFile/1021564417134678016
-rw-r--r--   3 hdfs supergroup      88002 2018-08-22 15:35 /home/t1/cloudDisk/smallFile/1021595649553838080
-rw-r--r--   3 hdfs supergroup     107925 2018-08-22 15:35 /home/t1/cloudDisk/smallFile/1021670959947255808
-rw-r--r--   3 hdfs supergroup       8725 2018-08-22 15:35 /home/t1/cloudDisk/smallFile/1021941940498526208
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2/t3
```

### 7.移动文件 -mv from to

>[hdfs@server01 /]$ hdfs dfs -mv /home/t1 /home/t2/t3  
>[hdfs@server01 /]$ hdfs dfs -ls -R /home

```
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:43 /home/t2/t3
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:35 /home/t2/t3/t1
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk/smallFile
-rw-r--r--   3 hdfs supergroup     530352 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk/smallFile/1021564417134678016
-rw-r--r--   3 hdfs supergroup      88002 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk/smallFile/1021595649553838080
-rw-r--r--   3 hdfs supergroup     107925 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk/smallFile/1021670959947255808
-rw-r--r--   3 hdfs supergroup       8725 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk/smallFile/1021941940498526208
```

### 8.删除文件(夹) -rm

>[hdfs@server01 /]$ hdfs dfs -rm /home/t2/t3/t1/cloudDisk/smallFile/1021941940498526208  

```
18/08/22 15:46:06 INFO fs.TrashPolicyDefault: Moved: 'hdfs://server01:8020/home/t2/t3/t1/cloudDisk/smallFile/1021941940498526208' to trash at: hdfs://server01:8020/user/hdfs/.Trash/Current/home/t2/t3/t1/cloudDisk/smallFile/1021941940498526208
```

>[hdfs@server01 /]$ hdfs dfs -ls -R /home  

```
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:43 /home/t2/t3
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:35 /home/t2/t3/t1
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:46 /home/t2/t3/t1/cloudDisk/smallFile
-rw-r--r--   3 hdfs supergroup     530352 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk/smallFile/1021564417134678016
-rw-r--r--   3 hdfs supergroup      88002 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk/smallFile/1021595649553838080
-rw-r--r--   3 hdfs supergroup     107925 2018-08-22 15:35 /home/t2/t3/t1/cloudDisk/smallFile/1021670959947255808
```

>[hdfs@server01 /]$ hdfs dfs -rm -r /home/t2/t3/t1 
>**可以使用 -rmr 代替 -rm -r** 

```
18/08/22 15:46:37 INFO fs.TrashPolicyDefault: Moved: 'hdfs://server01:8020/home/t2/t3/t1' to trash at: hdfs://server01:8020/user/hdfs/.Trash/Current/home/t2/t3/t11534923997974
```

>[hdfs@server01 /]$ hdfs dfs -ls -R /home  

```
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:46 /home/t2/t3
```

### 9.本地文件复制到hdfs -put

>[hdfs@server01 ~]$ touch test.txt  
>[hdfs@server01 ~]$ ls  

```
test.txt
```

>[hdfs@server01 ~]$ hdfs dfs -put test.txt /home/t2/t3  
>[hdfs@server01 ~]$ hdfs dfs -ls -R /home  

```
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 16:01 /home/t2/t3
-rw-r--r--   3 hdfs supergroup          0 2018-08-22 16:01 /home/t2/t3/test.txt
```

### 10.本地文件复制到hdfs为 -copyFromLocal

>[hdfs@server01 ~]$ hdfs dfs -copyFromLocal ~/t1.txt /home/t1.txt  
>[hdfs@server01 ~]$ hdfs dfs -ls -R /home  

```
-rw-r--r--   3 hdfs supergroup         18 2018-08-22 16:08 /home/t1.txt
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 16:01 /home/t2/t3
-rw-r--r--   3 hdfs supergroup          0 2018-08-22 16:01 /home/t2/t3/test.txt
```

### 11.本地文件复制到hdfs为 -moveFromLocal

>[hdfs@server01 ~]$ hdfs dfs -moveFromLocal ~/t1.txt /home/t2/t3/t1.txt  

### 12.复制文件到本地，可以忽略crc校验  -get[-ignoreCrc]

>[hdfs@server01 ~]$ ls  
>[hdfs@server01 ~]$ hdfs dfs -get /home/t2/t3/t1.txt .  
>[hdfs@server01 ~]$ ls  

```
t1.txt
```

### 13.将文件合并输出到本地指定文件 -getmerger

>[hdfs@server01 ~]$ hdfs dfs -getmerge /home/t2/t3/* ./data  
>[hdfs@server01 ~]$ cat data  

```
test the hdfs....
this is the test hdfs 002
```

**为每个文件添加换行符：-getmerge -nl**

>[hdfs@server01 ~]$ hdfs dfs -getmerge -nl  /home/t2/t3/* ./data  
>[hdfs@server01 ~]$ cat data   

```
test the hdfs....

this is the test hdfs 002
```

### 14.复制文件到本地为: -copyToLocal[-ignoreCrc] 

>[hdfs@server01 ~]$ ls  

```
data  t1.txt  t2.txt
```

>[hdfs@server01 ~]$ hdfs dfs -copyToLocal /home/t2/t3/test.txt ./t3.txt  
>[hdfs@server01 ~]$ ls  

```
data  t1.txt  t2.txt  t3.txt
```

### 15.创建一个空文件： -touchz 

>[hdfs@server01 ~]$ hdfs dfs -touchz /home/t2/t3/test.zz  
>[hdfs@server01 ~]$ hdfs dfs -ls -R /home  

```
-rw-r--r--   3 hdfs supergroup         18 2018-08-22 16:08 /home/t1.txt
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 17:00 /home/t2/t3
-rw-r--r--   3 hdfs supergroup         18 2018-08-22 16:31 /home/t2/t3/t1.txt
-rw-r--r--   3 hdfs supergroup         26 2018-08-22 16:49 /home/t2/t3/t2.txt
-rw-r--r--   3 hdfs supergroup          0 2018-08-22 16:01 /home/t2/t3/test.txt
-rw-r--r--   3 hdfs supergroup          0 2018-08-22 17:00 /home/t2/t3/test.zz
```

### 16.在终端显示文件内容，将源文件输出为文本格式

>[hdfs@server01 ~]$ hdfs dfs -text /home/t2/t3/t1.txt

```
test the hdfs....
```

### 17.在终端显示文件内容： cat

>[hdfs@server01 ~]$ hdfs dfs -cat /home/t2/t3/t1.txt
>test the hdfs....

### 18.从hdfs上过滤包含某个字符的行内容： -grep 

>[hdfs@server01 ~]$ hdfs dfs -cat /home/t2/t3/data  

```
test the hdfs....

this is the test hdfs 002

```

>[hdfs@server01 ~]$ hdfs dfs -cat /home/t2/t3/data|grep hdfs  

```
test the hdfs....
this is the test hdfs 002
```

>[hdfs@server01 ~]$ hdfs dfs -cat /home/t2/t3/data|grep this  

```
this is the test hdfs 002
[hdfs@server01 ~]$ 
```

### 19.查找文件 -find

>[hdfs@server01 ~]$ hdfs dfs -find /home -name t1.txt  

```
/home/t1.txt
/home/t2/t3/t1.txt
```

### 20.改变文件权限  -chmod 

>[root@server01 ~]# hdfs dfs -ls -R /home  

```
-rw-r--r--   3 hdfs supergroup         18 2018-08-22 16:08 /home/t1.txt
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 17:06 /home/t2/t3
-rw-r--r--   3 hdfs supergroup         47 2018-08-22 17:06 /home/t2/t3/data
-rw-r--r--   3 hdfs supergroup         18 2018-08-22 16:31 /home/t2/t3/t1.txt
-rw-r--r--   3 hdfs supergroup         26 2018-08-22 16:49 /home/t2/t3/t2.txt
-rw-r--r--   3 hdfs supergroup          0 2018-08-22 16:01 /home/t2/t3/test.txt
-rw-r--r--   3 hdfs supergroup          0 2018-08-22 17:00 /home/t2/t3/test.zz
```

>[hdfs@server01 root]$ hdfs dfs -chmod -R 755 /home/t2/t3  
>[root@server01 ~]# hdfs dfs -ls -R /home  

```
-rw-r--r--   3 hdfs supergroup         18 2018-08-22 16:08 /home/t1.txt
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 15:15 /home/t2
drwxr-xr-x   - hdfs supergroup          0 2018-08-22 17:06 /home/t2/t3
-rwxr-xr-x   3 hdfs supergroup         47 2018-08-22 17:06 /home/t2/t3/data
-rwxr-xr-x   3 hdfs supergroup         18 2018-08-22 16:31 /home/t2/t3/t1.txt
-rwxr-xr-x   3 hdfs supergroup         26 2018-08-22 16:49 /home/t2/t3/t2.txt
-rwxr-xr-x   3 hdfs supergroup          0 2018-08-22 16:01 /home/t2/t3/test.txt
-rwxr-xr-x   3 hdfs supergroup          0 2018-08-22 17:00 /home/t2/t3/test.zz
```

### 21.改表文件拥有者 -chown

>[hdfs@server01 root]$ hdfs dfs -ls /home/t2/t3/t1.txt

```
-rwxr-xr-x   3 hdfs supergroup         18 2018-08-22 16:31 /home/t2/t3/t1.txt
```

>[hdfs@server01 root]$ hdfs dfs -chown -R root /home/t2/t3/t1.txt  
>[hdfs@server01 root]$ hdfs dfs -ls /home/t2/t3/t1.txt  

```
-rwxr-xr-x   3 root supergroup         18 2018-08-22 16:31 /home/t2/t3/t1.txt
```

### 22.改变文件所在组 -chgrp 

## 管理与更新

### 1. 查看HDFS的基本统计信息

>[hdfs@server01 ~]$ hdfs dfsadmin -report

```
Configured Capacity: 169982572956 (158.31 GB)
Present Capacity: 149058642916 (138.82 GB)
DFS Remaining: 147186349028 (137.08 GB)
DFS Used: 1872293888 (1.74 GB)
DFS Used%: 1.26%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (4):

Name: 192.168.242.52:50010 (server02)
Hostname: server02
Rack: /default
Decommission Status : Normal
Configured Capacity: 42495643239 (39.58 GB)
DFS Used: 490999808 (468.25 MB)
Non DFS Used: 4575563367 (4.26 GB)
DFS Remaining: 37026427129 (34.48 GB)
DFS Used%: 1.16%
DFS Remaining%: 87.13%
Configured Cache Capacity: 2364538880 (2.20 GB)
Cache Used: 0 (0 B)
Cache Remaining: 2364538880 (2.20 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 8
Last contact: Wed Aug 22 17:20:11 CST 2018


Name: 192.168.242.53:50010 (server03)
Hostname: server03
Rack: /default
Decommission Status : Normal
Configured Capacity: 42495643239 (39.58 GB)
DFS Used: 440930304 (420.50 MB)
Non DFS Used: 4487175783 (4.18 GB)
DFS Remaining: 37030666572 (34.49 GB)
DFS Used%: 1.04%
DFS Remaining%: 87.14%
Configured Cache Capacity: 2364538880 (2.20 GB)
Cache Used: 0 (0 B)
Cache Remaining: 2364538880 (2.20 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 10
Last contact: Wed Aug 22 17:20:12 CST 2018


Name: 192.168.242.54:50010 (server04)
Hostname: server04
Rack: /default
Decommission Status : Normal
Configured Capacity: 42495643239 (39.58 GB)
DFS Used: 439042048 (418.70 MB)
Non DFS Used: 5806202471 (5.41 GB)
DFS Remaining: 35981963430 (33.51 GB)
DFS Used%: 1.03%
DFS Remaining%: 84.67%
Configured Cache Capacity: 2364538880 (2.20 GB)
Cache Used: 0 (0 B)
Cache Remaining: 2364538880 (2.20 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 6
Last contact: Wed Aug 22 17:20:12 CST 2018


Name: 192.168.242.55:50010 (server05)
Hostname: server05
Rack: /default
Decommission Status : Normal
Configured Capacity: 42495643239 (39.58 GB)
DFS Used: 501321728 (478.10 MB)
Non DFS Used: 4444376679 (4.14 GB)
DFS Remaining: 37147291897 (34.60 GB)
DFS Used%: 1.18%
DFS Remaining%: 87.41%
Configured Cache Capacity: 2364538880 (2.20 GB)
Cache Used: 0 (0 B)
Cache Remaining: 2364538880 (2.20 GB)
Cache Used%: 0.00%
Cache Remaining%: 100.00%
Xceivers: 8
Last contact: Wed Aug 22 17:20:11 CST 2018
```

### 2. 重新读取配置 -refreshNodes

重新读取hosts和exclude文件，使新的节点或需要退出集群的节点能够被NameNode重新识别。这个命令在新增节点或注销节点时用到。

示例：hdfs dfsadmin -refreshNodes



### 3. 设置文件副本数 -setrep

> [hdfs@server01 root]$ hdfs dfs -setrep 2 /home/t2/t3/t1.txt  

**即使副本设置数量多于节点数，比如3个节点，设置5个副本数，仍旧只会有3个副本，但是这时候新加入节点，就会增加副本数，直至节点数等于或多于副本数则会保存为5个副本**

netty-概述

1.总体概述

1.1 描述

1.2 架构

0. 引言

0.1 读书无用论与学习能力

awk

1. 语法构造

arthas 快速入门

1.启动

HDFS Shell操作

文件操作

1.查看帮助文档 -help