update misc imag

This commit is contained in:
lemonchann
2020-04-04 15:30:50 +08:00
parent 88e6b909b6
commit 7bf5fdfc7d
14 changed files with 72 additions and 155 deletions

View File

@@ -0,0 +1 @@
<mxfile host="www.draw.io" modified="2020-04-04T05:12:44.687Z" agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36" etag="0QQPTuLyxyjdipbyQvt5" version="12.9.3"><diagram id="xuCw2JCyBRWVYkc-B2Wk" name="Page-1">7VrLkps4FP0alu0CBBgvjdtJFkmqq3pqZjmFQTaqCESE6HbP148EEgaBH3SwnUq1N0ZXb52je48EBlil+880zJNvJIbYsM14b4BHw7Yt33P5n7C81RbX8WvDjqJYFjoYntF/UBpNaS1RDItOQUYIZijvGiOSZTBiHVtIKXntFtsS3O01D3ewZ3iOQty3/oNiltRW354f7F8g2iWqZ8tb1DlpqArLmRRJGJPXlgmsDbCihLD6Kd2vIBaLp9alrvfpSG4zMAozdkmFr/HT6/O/8x0GPwH4O/nrm0m+P8hWXkJcygnLwbI3tQIFo+RHM3nHAEEzE5Mn4rBIYCwTIUa7jD9HfEyQckPCUszTVl0rF02m+52gyiwl0Y8yn1FawRZQib0l2tkijFcEE1oNAWyrn2ijGksrxzQXC+eR5/RXQ00NUgb3LZNcnc+QpJDRN15E5SqkJFWBSr8egHdNaUvaoDvSGEqy7Zq2D3jwBwnJCHjsAXg8LJZrS/g8Be3VUng/S8GkoFoU04yitsnbyf8wzflDtinyKm1OalrPjWBpBJ/Ew9I3/MBSo+WTrwesBjLIMYUryhJIEdN4cLBy/sSI49zP6XLVujZXTQmEou5cplsE9aqfKidnLLqgsOC1Gt9hDXL45J49T+wWcS3rFHEpxCFDL12fN8Rm2ccTQRX9mp3jdquQ7baArEf/Zmjv3xFg2h3Ro6z9QdnfhrKmez3K2sC6FWXdPmXXvuDcImhodybqTk4LDLcsKBkjWS/0niZHE4p1cmgh2zT96FjIljm3ppN9DTpdnz7KcZ/SaFFJXyo6iEWEWbwUylcwAodFgSKNEn1EPG+16vkiezQgMO6I6ZNwuAPxyJ1ob7tdIdcIO9VEQUoaQVmrLZn1hrxuQ3o7LKQ7yHrt8NUP31rFclGgODHeuTZe0zw9LKdb3u0U5w/1ACZlofdBwpGayJuIhNb8JiS0/HEktNzbkxBc4ArvqctEVP0jVZnMBQqA1hZajD0Q312PgaFLj84Z4kAndWAQGQ9Fhc6SF7Dm+b59mhh9Dq962xw/hoDWMWSj1zt3NOFoajTsKUSBOYpCvJQZKYpjUb1mU7jBipXSbfB23cBwxU1LWDJSSJ5ek2ua//T61PMGqKd7x+muYvyPCDhuS4OpZJhOhStFQDBShoE7yDB7MTYCti9Jfy0G2pPfTQjKvesU+mvBcLQvcjWkh26G/cUkcfChkXs3CIRD18v3c2m/l/dyNafj6Fhe6r1cza0AvaGJ3JerCXhHfx+kl9fcs3J/11Xwx+9vN+8RXl1hNM0VsHNUZw1JsrPaS1dUmn66XJr1pVjbn2ckg70tKI2UlFnceOopHKLOaf/O6gw4F8RFLQpFqIjIrIDcwdFixtcS1s9d+KpVh3T9AuvFt/TAp198As9fzIecofYWs+0MFeZfww3ET5weDImY+LghPDimA6RgJB/iDikZRhnvVL0MnwjvBx3vATU+H8B7cS28lQ89hXdXgFwqW45uP50+9dcF9kz0iAqoImNQfelgzoQ6qT6DcEQ3GWFRdY/gCsbAkCWiM17MGWIK4ALHNMeFzRHvuc/vXWvoNbfrjgaTJw8fONQx5PCZCFj/Dw==</diagram></mxfile>

Binary file not shown.

After

Width:  |  Height:  |  Size: 333 KiB

View File

@@ -1,166 +1,80 @@
工作5年我总结了这些分析Linux进程的方法全都告诉你
工作5年资深程序员总结:分析Linux进程的6个方法,全都告诉你
进程是学计算机的人都要接触的基本概念抛开那些纯理论的操作系统底层实现在Linux下做软件开发这么多年每次程序运行出现问题都要一步一步分析进程各种状态去排查问题出在哪里这次lemon带你在Linux环境下实操探究Linux进程的那些秘密。
> 创作不易,点赞关注支持一下吧,我的更多原创技术分享,关注公众号「**后端技术学堂**」第一时间看!
## 何为进程
操作系统「进程」是学计算机都要接触的基本概念抛开那些纯理论的操作系统底层实现在Linux下做软件开发这么多年每次程序运行出现问题都要一步一步分析进程各种状态去排查问题出在哪里这次lemon带你在Linux环境下实操一步步探究揭开「Linux进程」的那些秘密。
首先我们说下程序的概念,程序是一些保存在磁盘上的指令的有序集合,是静态的。进程是程序执行的过程,包括了动态创建、调度和消亡的整个过程,它是程序资源管理的最小单位。
## 何为进程
线程是操作操作系统能够进行运算调度的最小单位。大部分情况下,它被包含在进程之中,是进程中的实际运作单位「引用维基百科」。一个进程内可以包含多个线程。
首先我们说下「程序」的概念,程序是一些保存在磁盘上的指令的有序集合,是静态的。进程是程序执行的过程,包括了动态创建、调度和消亡的整个过程,它是程序资源管理的最小单位。
线程是操作操作系统能够进行运算调度的最小单位。大部分情况下,它被包含在进程之中,是进程中的实际运作单位,一个进程内可以包含多个线程,是资源调度的最小单位。[引用维基百科]
![多线程程序模型](https://imgkr.cn-bj.ufileos.com/73d34b23-bb9d-4193-a496-b00eb036e05e.png)
认识进程第一步找到进程PID ( Process IDentity )。
> 探究进程第一步,你在吗?还好吗?
## ps
`report a snapshot of the current processes.` 列出当前系统进程的一个快照报告
`report a snapshot of the current processes.` 列出当前系统进程的快照
最基本的当然是ps这个命令,这个大家应该都知道小白别以为是Photoshop哈不知道我下面给大家简单介绍一下一般用法是`ps -ef`列出系统内经常信息,通常都会带管道`grep`出自己感兴趣的进程,像这样`ps -ef|grep intresting`第一列PID代表进程号PPIDparent process ID代表父进程号
找到进程PID ( Process IDentity )pid唯一标识一个进程。用`ps`这个命令,这个命令大家应该都知道对于小白用户首先他不是Photoshop
```
$ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 2018 ? 00:04:22 /sbin/init
root 2 0 0 2018 ? 00:00:00 [kthreadd]
root 3 2 0 2018 ? 00:00:29 [ksoftirqd/0]
root 5 2 0 2018 ? 00:00:00 [kworker/0:0H]
root 7 2 0 2018 ? 00:02:05 [migration/0]
root 8 2 0 2018 ? 00:00:00 [rcu_bh]
root 9 2 0 2018 ? 00:00:00 [rcuob/0]
root 10 2 0 2018 ? 00:00:00 [rcuob/1]
```
![ps](http://ww1.sinaimg.cn/large/9150e4e5ly1frjcour2u8g203c02owej.gif)
给大家简单介绍一下,一般用法是`ps -ef`列出系统内经常信息,通常都会带管道`grep`出自己感兴趣的进程,像这样`ps -ef|grep intresting`第一列PID代表进程号PPIDparent process ID代表父进程号。
![ps输出实例](https://upload-images.jianshu.io/upload_images/7842464-be1e324fde371320.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
认识进程第二步,让我看看你都交了哪些朋友(系统调用)。
> 探究进程第二步,让我看看你都交了哪些朋友(系统调用 & 信号)
## strace
`strace - trace system calls and signals` 跟踪进程内部的系统调用和信号
`trace system calls and signals` 跟踪进程内部的系统调用和信号
`strace`后面跟着启动一个进程,你就可以跟踪启动后进程的系统调用和信号,有了这个命令可以看到进程执行时候都调用了哪些系统调用,通过指定不同的选项可以输出系统调用发生的时间,精度可以精确到微秒,甚至还可以统计分析系统调用的耗时,这在排查进程假死问题的时候很有用,能帮你发现进程卡在哪个系统调用上。已经在运行的进程也可以指定`-p`参数加`pid``gdb attach`那样附着上去跟踪。
> 什么是「系统调用」系统调用system call指运行在「用户态」的程序向操作系统「内核态」请求需要更高权限运行的服务系统调用提供用户程序与操作系统之间的接口。
> 什么是系统调用?**系统调用**英语system call指运行在「用户态」的程序向操作系统「内核态」请求需要更高权限运行的服务。系统调用提供用户程序与操作系统之间的接口。
`strace`后面跟着启动一个进程,可以跟踪启动后进程的系统调用和信号,这个命令可以看到进程执行时候都调用了哪些系统调用,通过指定不同的选项可以输出系统调用发生的时间,精度可以精确到微秒,甚至还可以统计分析系统调用的耗时」,这在排查进程假死问题的时候很有用,能帮你发现进程卡在哪个系统调用上。已经在运行的进程也可以指定`-p`参数加`pid``gdb attach`那样附着上去跟踪。
![strace](https://upload-images.jianshu.io/upload_images/7842464-3c9d2df36326b3bc.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
```shell
$strace ./time_test
access("/usr/local/sa/agent/log/execOn", F_OK) = 0
readlink("/proc/3768/exe", "/usr/bin/strace", 2047) = 15
getuid() = 560
getppid() = 3767
open("/proc/3767/cmdline", O_RDONLY) = 3
fstat(3, {st_mode=S_IFREG|0444, st_size=0, ...}) = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f78d088b000
read(3, "strace\0./time_test\0", 9216) = 19
read(3, "", 9216) = 0
close(3) = 0
munmap(0x7f78d088b000, 4096) = 0
getcwd("/data/linlongchen/test", 511) = 23
ioctl(0, SNDCTL_TMR_TIMEBASE or TCGETS, {B38400 opost isig icanon echo ...}) = 0
readlink("/proc/self/fd/0", "/dev/pts/92", 4095) = 11
socket(PF_FILE, SOCK_DGRAM, 0) = 3
fcntl(3, F_GETFL) = 0x2 (flags O_RDWR)
fcntl(3, F_SETFL, O_RDWR|O_NONBLOCK) = 0
fcntl(3, F_GETFD) = 0
fcntl(3, F_SETFD, FD_CLOEXEC) = 0
sendto(3, "\0\0\0\4\0\0\0\266\0\v./time_test\0\16./time_te"..., 182, 0, {sa_family=AF_FILE, path="/usr/local/sa/agent/log/agent_cmd.sock"}, 40) = 182
close(3) = 0
execve("./time_test", ["./time_test"], [/* 30 vars */]) = 0
brk(0) = 0xe31000
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f5a3ac9a000
access("/etc/ld.so.preload", R_OK) = 0
open("/etc/ld.so.preload", O_RDONLY) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=18, ...}) = 0
mmap(NULL, 18, PROT_READ|PROT_WRITE, MAP_PRIVATE, 3, 0) = 0x7f5a3ac99000
```
```
$strace -c ./time_test
time: 2020-03-26 20:20:17
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
-nan 0.000000 0 10 read
-nan 0.000000 0 1 write
-nan 0.000000 0 42 32 open
-nan 0.000000 0 11 close
-nan 0.000000 0 12 12 stat
-nan 0.000000 0 12 fstat
-nan 0.000000 0 1 lseek
-nan 0.000000 0 26 mmap
-nan 0.000000 0 11 mprotect
-nan 0.000000 0 4 munmap
-nan 0.000000 0 3 brk
-nan 0.000000 0 1 ioctl
-nan 0.000000 0 2 access
-nan 0.000000 0 1 socket
-nan 0.000000 0 1 sendto
-nan 0.000000 0 1 execve
-nan 0.000000 0 4 fcntl
-nan 0.000000 0 1 getcwd
------ ----------- ----------- --------- --------- ----------------
```
![strace1](https://upload-images.jianshu.io/upload_images/7842464-45579c458ef59d88.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
认识进程第三步,让我看看你带的小弟们(线程)。
> 探究进程第三步,让我看看你带的小弟们(线程)。
## pstack
`print a stack trace of a running process` 打印出运行中程序的堆栈信息。
执行命令`pstack pid` 你能看到当前线程运行中的堆栈信息其中的pid可用之前的`ps`命令获得,`pstack`可以看到进程内启动的线程号,每个进程内线程的堆栈内容也能看到。
```shell
$ pstack 11822
Thread 4 (Thread 0x7f1eab4ec700 (LWP 11838)):
#0 0x00007f1eb69a0bb3 in select () from /lib64/libc.so.6
Thread 3 (Thread 0x7f1eaaceb700 (LWP 11839)):
#0 0x00007f1eb69a0bb3 in select () from /lib64/libc.so.6
Thread 2 (Thread 0x7f1eaa4ea700 (LWP 11840)):
#0 0x00007f1eb69a9d23 in epoll_wait () from /lib64/libc.so.6
Thread 1 (Thread 0x7f1eb825c400 (LWP 11822)):
#0 0x00007f1eb69a9d23 in epoll_wait () from /lib64/libc.so.6
#1 0x000000000043ab14 in PollerWraper::WaitPollEvents (this=0x1ca4790, timeout=-1) at ../comm/pollwraper.cpp:11
```
执行命令`pstack pid` 你能看到当前线程运行中的堆栈信息其中的pid可用之前的`ps`命令获得,`pstack`可以看到进程内启动的线程号,每个进程内线程的堆栈内容也能看到。
![pstack](https://upload-images.jianshu.io/upload_images/7842464-4f5108a7bd0631e3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
看到上面打印出的LWP了吗这里是个知识点 LPW是指`Light-weight process` 轻量级线程。引申知识:
> 1. Linux中没有真正的线程
> 2. Linux中没有的线程`Thread`是由进程来模拟实现的所以称作:轻量级进程
> 3. 进程是分配资源(资源管理的最小单元,线程是调度资源(程序执行)的最小单元(这里不考虑协程)
> 3. 进程是资源管理的最小单元,线程是「资源调度」的最小单元(这里不考虑协程)
认识进程第四步,让小弟们(线程)出来排个队。
> 探究进程第四步,让小弟们(线程)出来排个队吧。
## pstree
`pstree - display a tree of processes` pstree按树形结构打印运行中进程结构信息
`display a tree of processes` pstree按树形结构打印运行中进程结构信息
可以直观的查看进程和它启动的线程的关系,并能显示进程标识。
```
pstree -p 11822
query_test(11822)-+-{query_test}(11838)
|-{query_test}(11839)
`-{query_test}(11840)
```
![pstree](https://upload-images.jianshu.io/upload_images/7842464-779ee63317590602.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
认识线程第五步,是死(进程崩溃)是活(进程运行中)我都要知道你的秘密。
> 探究进程第五步,是死(进程崩溃)是活(进程运行中)我都要知道你的秘密(堆栈帧 & 上下文)
## gdb
gdb是GNU开发的gcc套件中Linux下程序调试工具你可以查看程序的堆栈、设置断点、打印程序运行时信息甚至还能调试多线程程序功能十分强大。
在这里把gdb当成一个命令来讲有点大材小用要详细说gdb的话完全可以撑起一篇文章的篇幅这里长话短说有机会再开一篇文章详细介绍下它。
在这里把gdb当成一个命令来讲有点大材小用要详细说gdb的话完全可以撑起一篇文章的篇幅这里长话短说有机会再开一篇文章详细介绍下它。
### 使用
@@ -169,46 +83,21 @@ gdb是GNU开发的gcc套件中Linux下程序调试工具你可以查看程序
1. 可以直接用gdb启动程序调试命令`gdb prog`
2. 用gdb附着到一个已经启动的进程上调试也可以。命令`gdb prog pid`
3. 程序崩溃之后参数corefile也可以用gdb调试看看程序死掉之前留了什么遗言堆栈信息给你。命令`gdb prog corefile`这里有一点需要注意有些Linux系统默认程序崩溃不生成`corefile`,这时你需要`ulimit -c unlimited`这样就能生成`corefile`了。
```shell
(gdb) attach 22861
(gdb) info threads // 查看线程信息, *代表当前调试的线程
5 Thread 0x881fbb70 (LWP 22876) 0x007da424 in __kernel_vsyscall ()
4 Thread 0x86ef8b70 (LWP 22877) 0x007da424 in __kernel_vsyscall ()
3 Thread 0x864f7b70 (LWP 22878) 0x007da424 in __kernel_vsyscall ()
2 Thread 0x85af6b70 (LWP 22879) 0x007da424 in __kernel_vsyscall ()
* 1 Thread 0x93a9c6d0 (LWP 22861) 0x007da424 in __kernel_vsyscall ()
(gdb) bt //显示调用堆栈bt -- Print backtrace of all stack frames
#0 0x007da424 in __kernel_vsyscall ()
#1 0x05a1b996 in nanosleep () from /usr/local/lib/libc.so.6
#2 0x05a55aec in usleep () from /usr/local/lib/libc.so.6
#3 0x93ad4ad6 in WaitForExit () at test.cpp:242
#4 0x0807c5da in main (argc=1, argv=0xbffa92f4) at /test/main.cpp:58
(gdb) thread apply 1 bt //切换到线程1
Thread 1 (Thread 0x93a9c6d0 (LWP 22861)):
#0 0x007da424 in __kernel_vsyscall ()
#1 0x05a1b996 in nanosleep () from /usr/local/lib/libc.so.6
#2 0x05a55aec in usleep () from /usr/local/lib/libc.so.6
#3 0x93ad4ad6 in WaitForExit () at Vos.cpp:242
#4 0x0807c5da in main (argc=1, argv=0xbffa92f4) at /test/main.cpp:58
```
![gdb调试](https://upload-images.jianshu.io/upload_images/7842464-ddc4bfc651297b49.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
认识进程第六步,关于你的所有,我都想知道。
> 探究进程第六步,关于你的所有,我都想知道。
## 更近一步
通过/proc/pid文件了解进程的运行时信息和统计信息。/proc系统是一个伪文件系统它只存在内存当中而不占用外存空间以文件系统的方式为内核与进程提供通信的接口。进入系统/proc目录
通过`/proc/pid`文件了解进程的运行时信息和统计信息。`/proc`系统是一个伪文件系统,它只存在内存当中,而不占用外存空间,以文件系统的方式为内核与进程提供通信的接口。进入系统`/proc`目录:
![proc目录](F:\github\lemonchann.github.io\_posts\linux\linux工具系列\proc目录.png)
![proc目录](https://upload-images.jianshu.io/upload_images/7842464-afef80294f10aa0d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
/proc目录下有很多以数字命名的目录每个数字代表进程号PID它们是进程目录。系统中当前运行的每一个进程在/proc下都对应一个以进程号为目录名的目录/proc/pid它们是读取进程信息的接口我们可以进到这个文件里面了解进程的运行时信息和统计信息。
### 高频使用统计
/proc目录下有很多以数字命名的目录每个数字代表进程号PID它们是进程目录。系统中当前运行的每一个进程在/proc下都对应一个以进程号为目录名的目录`/proc/pid `,它们是读取进程信息的接口,我们可以进到这个文件里面,了解进程的运行时信息和统计信息。
### 高频使用
`/proc/pid`目录下的有一些重要文件,挑几个使用频率高的讲一讲。
`/proc/pid/environ` 包含了进程的可用环境变量的列表 。程序出问题了如果不确定环境变量是否设置生效,可以`cat`这个文件出来查看确认一下。
@@ -219,11 +108,32 @@ Thread 1 (Thread 0x93a9c6d0 (LWP 22861)):
### 其他统计
/proc/pid/cmdline 包含了用于开始进程的命令
/proc/pid/cwd包含了当前进程工作目录的一个链接
/proc/pid/exe 包含了正在进程中运行的程序链接
/proc/pid/mem 包含了进程在内存中的内容
/proc/pid/statm 包含了进程的内存使用信息
`/proc/pid/cmdline` 包含了用于开始进程的命令
`/proc/pid/cwd`包含了当前进程工作目录的一个链接
`/proc/pid/exe `包含了正在进程中运行的程序链接
`/proc/pid/mem `包含了进程在内存中的内容
`/proc/pid/statm `包含了进程的内存使用信息
## 总结一下
好了,一顿操作下来,你对进程和它背后的秘密你已经非常了解了,下次我们的好朋友「进程」如果遇到了什么问题(崩溃`coredump`、假死、阻塞、系统调用超时、文件描述符异常),你应该知道如何帮它处理了吧!我们来总结一下:
- ps查看进程id看看进程还在不在以及进程状态
- 如果在的话`strace``psstack`看下进程当前信息,是不卡死在哪个位置,对比各帧最后调用信息找到异常点
- 如果进程不再了,如果有`corefile`文件,直接上`gdb`查看`corefile`信息
- 其他疑难杂症怀疑进程状态信息的时候,看看`/proc/pid`下面的进程状态信息,可能会给你启发。
- 最后,如果以上都不行,闭目祈祷吧!
![](http://wx1.sinaimg.cn/large/cf652d2bgy1fgchzezbpdj20k00k0dhe.jpg)
## 写在最后
今天的分享希望对你有帮助祝大家写的服务永不宕机从不coredump让上面教你的操作吃灰去吧。
![永不宕机](https://upload-images.jianshu.io/upload_images/7842464-f7a94cc986f4ebb9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
<div align="center"> 图片来源网络|侵删 </div>
最后,感谢各位的阅读。文章的目的是分享对知识的理解,技术类文章我都会反复求证以求最大程度保证准确性,若文中出现明显纰漏也欢迎指出,我们一起在探讨中学习。
@@ -238,3 +148,7 @@ Thread 1 (Thread 0x93a9c6d0 (LWP 22861)):
https://blog.csdn.net/enweitech/article/details/53391567
### 创作不易,点赞关注支持一下吧
我会持续分享软件编程和程序员那些事欢迎关注。若你对编程感兴趣我整理了这些年学习编程大约3G的资源汇总关注公众号「**后端技术学堂**」后发送「**资料**」免费获取。

Binary file not shown.

After

Width:  |  Height:  |  Size: 146 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 218 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 90 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 402 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 219 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 13 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 16 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 22 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 155 KiB