7-1grep-awk-sed.md · 羊咩咩/yunwei_base_study

# 1、文件管理---字符处理类命令

+ ## grep：过滤文件内容

+ ```bash
  #过滤文件内容
  grep
  	#选项
  	"字符"		过滤出包含某个字符的行
  	"^字符"		过滤出以某个字符开头的行
  	"字符$"		过滤出以某个字符结尾的行
  	-n			 显示行号
  	#查看日志
  	-An			 显示包含某个字符行的后n行
  	-Bn			 显示包含某个字符行的前n行
  	-Cn			 显示包含某个字符行的前后n行
  	-i			 过滤忽略字符大小写
  	-v			 过滤出不包含某个字符的行
  	-E			 正则匹配使用（搭配正则符号使用）
  				 ==egrep
  	
  #1、过滤出包含root的行	
  [root@test ~]# grep "root" passwd 
  root:x:0:0:root:/root:/bin/bash
  operator:x:11:0:operator:/root:/sbin/nologin
  
  #2、过滤出以root开头的行	
  [root@test ~]# grep "^root" passwd 
  root:x:0:0:root:/root:/bin/bash
  
  #3、过滤出以/bin/bash结尾的行
  [root@test ~]# grep "/bin/bash$" passwd
  root:x:0:0:root:/root:/bin/bash
  	
  #4、过滤出包含root的行，不区分大小写
  [root@test ~]# grep -i "root" passwd
  root:x:0:0:root:/root:/bin/bash
  operator:x:11:0:operator:/root:/sbin/nologin
  ROOT:ROOT:239:239
  
  #5、过滤出不包含root、ROOT的行
  [root@test ~]# grep -i -v "root" passwd
  bin:x:1:1:bin:/bin:/sbin/nologin
  daemon:x:2:2:daemon:/sbin:/sbin/nologin
  adm:x:3:4:adm:/var/adm:/sbin/nologin
  lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
  sync:x:5:0:sync:/sbin:/bin/sync
  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
  halt:x:7:0:halt:/sbin:/sbin/halt
  mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
  	
  	
  #6、过滤出包含root或者sshd或者nobody的行	
  [root@test ~]# grep -E "root|sshd|nobody" passwd 
  root:x:0:0:root:/root:/bin/bash
  operator:x:11:0:operator:/root:/sbin/nologin
  nobody:x:99:99:Nobody:/:/sbin/nologin
  sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin	
  	
  [root@test ~]# egrep "root|sshd|nobody" passwd 
  root:x:0:0:root:/root:/bin/bash
  operator:x:11:0:operator:/root:/sbin/nologin
  nobody:x:99:99:Nobody:/:/sbin/nologin
  sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
  	
  #7、匹配任意单个字符，并显示行号
  	#.表示任意单个字符
  [root@test ~]# grep -n "." passwd 
  1:root:x:0:0:root:/root:/bin/bash
2:bin:x:1:1:bin:/bin:/sbin/nologin
  3:daemon:x:2:2:daemon:/sbin:/sbin/nologin
  
  ```

+ ## awk：取列

+ ```bash
  #取列
  awk
  	#选项
  	-F		指定分隔符
      $n		取第几列
      NR==n	取第几行
      $NF		表示最后一列
  	
  	
  #1、打印出第一列	
  [root@test ~]# awk '{print $1}' hosts 
  127.0.0.1
  ::1
  
  #2、以:为分隔符，打印出第三行，第二列
  [root@test ~]# cat -n passwd 
       1	root:x:0:0:root:/root:/bin/bash
       2	bin:x:1:1:bin:/bin:/sbin/nologin
       3	daemon:x:2:2:daemon:/sbin:/sbin/nologin
  	
  [root@test ~]# awk -F ':' 'NR==3 {print $2}' passwd 
  x
  	
  	
  #3、以:为分隔符，打印出最后一列	
  [root@test ~]# awk -F ':' '{print $NF}' passwd
  /bin/bash
  /sbin/nologin
  /sbin/nologin
  ```

+ ## sed：替换

+ ```bash
  #替换
  sed 's#(old)#(new)#g' 文件路径+文件名
  #默认不会替换修改文件本身，只是预演
  
  	#选项
  	's#(old)#(new)#g'		全局替换（针对一行内出现多个相同字符）
  	-i						修改文件内容
  	'8s#(old)#(new)#'		替换第八行内容，只替换第一个出现的字符
  	-n						取消默认输出
  	2p						打印第二行内容
  
  
  #1、打印出第二行内容
  [root@test ~]# ifconfig ens32
  ens32: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
          inet 10.0.0.101  netmask 255.255.255.0  broadcast 10.0.0.255
          inet6 fe80::215a:af95:8d25:1eb7  prefixlen 64  scopeid 0x20<link>
          ether 00:0c:29:a8:63:65  txqueuelen 1000  (Ethernet)
          RX packets 27488  bytes 37288561 (35.5 MiB)
          RX errors 0  dropped 0  overruns 0  frame 0
          TX packets 4398  bytes 443788 (433.3 KiB)
          TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
  
  #方法一：
  [root@test ~]# ifconfig ens32|sed -n '2p'
          inet 10.0.0.101  netmask 255.255.255.0  broadcast 10.0.0.255
          
  #方法二：
  [root@test ~]#  ifconfig ens32|awk 'NR==2'
          inet 10.0.0.101  netmask 255.255.255.0  broadcast 10.0.0.255
  
  
  #2、使用sed取ip地址
  [root@test ~]# ifconfig ens32
  ens32: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
          inet 10.0.0.101  netmask 255.255.255.0  broadcast 10.0.0.255
          inet6 fe80::215a:af95:8d25:1eb7  prefixlen 64  scopeid 0x20<link>
          ether 00:0c:29:a8:63:65  txqueuelen 1000  (Ethernet)
          RX packets 27658  bytes 37303076 (35.5 MiB)
          RX errors 0  dropped 0  overruns 0  frame 0
          TX packets 4512  bytes 454708 (444.0 KiB)
          TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
          
  #取出第二行
  [root@test ~]# ifconfig ens32|sed -n '2p'
          inet 10.0.0.101  netmask 255.255.255.0  broadcast 10.0.0.255
  
  #-r		表示后项引用
  #.		表示匹配任意单个字符
  #*		表示重复前面字符0次或多次
  #^		表示以什么开头
  #$		表示以什么结尾
  #\2		表示引用第二个括号的内容
  #'s#() () ()##g'	三个括号目的是分组匹配
  #第一个()		表示匹配前半部分（需要内容）
  #第二个()		表示匹配需要的内容
  #第三个()		表示匹配（需要内容）后半部分
  #括号之间有空格分隔，是因为方便看清楚
  
  #^.*et		表示以任意单个字符开头，重复一次或多次，遇到et后终止匹配
  #net.*$		net后边的任意单个字符一直到结尾
  
  [root@test ~]# ifconfig ens32|sed -n '2p'|sed -r 's#(^.*et) (.*) (net.*$)#\2#g'
  10.0.0.101 
  
  
  #3、sed修改ip地址
  [root@test ~]# cat -n ifcfg-ens32
      16	IPADDR=10.0.0.101
  
  
  [root@test ~]# sed -i -r '16s#(.*=)(.*)#\110.0.0.102#g' ifcfg-ens32
  
  [root@test ~]# cat -n ifcfg-ens32
      16	IPADDR=10.0.0.102
  
  
  #4、取ip地址
  [root@test ~]# ifconfig ens32|grep "netmask"|awk '{print $2}'
  10.0.0.101
  
  [root@test ~]# ifconfig ens32|grep "netmask"|sed -r 's#(^.*net)(.*)(net.*$)#\2#g'
   10.0.0.101 
  
  
  #纯awk取ip
  [root@test ~]# ifconfig ens32|awk 'NR==2{print $2}'
  10.0.0.101
  
  
  #纯sed取ip
  [root@test ~]# ifconfig ens32|sed -n '2p'|sed -r 's#(^.*net)(.*)(net.*$)#\2#g'
   10.0.0.101
  ```

# 2、文件属性

+ ```bash
  #查看文件web.log的文件属性
  [root@test ~]# ll web.log 
  -rw-r--r--. 1 root root 188 May 15 23:35 web.log
  
  #文件属性解读
  -rw-r--r--		#第一列：文件的权限
  1				#第二列：文件的硬链接数
  root			#第三列：文件的拥有者
  root			#第四列：文件的拥有组
  188				#第五列：文件的大小
  May 15 23:35	#第六、七、八列：文件的最后修改时间
  web.log			#第九列：文件的名称
  
  ```

# 3、文件类型

+ ## Linux一切皆文件，文件是否需要区分文件类型

+ ```bash
  #1、查看文件类型
  [root@test ~]# ll -d /etc/hosts /tmp /bin/ls /dev/sda /dev/tty1 /etc/grub2.cfg  /dev/log /run/dmeventd-client 
  -rwxr-xr-x.  1 root root 117608 Aug 20  2019 /bin/ls
  srw-rw-rw-.  1 root root      0 May 22 14:07 /dev/log
  brw-rw----.  1 root disk   8, 0 May 22 14:07 /dev/sda
  crw--w----.  1 root tty    4, 1 May 22 14:08 /dev/tty1
  lrwxrwxrwx.  1 root root     22 May  7 13:04 /etc/grub2.cfg -> ../boot/grub2/grub.cfg
  -rw-r--r--.  1 root root    158 Jun  7  2013 /etc/hosts
  prw-------.  1 root root      0 May 22 14:07 /run/dmeventd-client
  drwxrwxrwt. 12 root root   4096 May 22 14:08 /tmp
  
  #2、文件类型解读：
  #-：普通文件（包含：音频文件、txt文件、shell脚本文件等）
  	#实际情况下，大家都会遵循一定的规范来进行文件的命名；
  	#比如：音频文件	xx.mp4
  		  脚本文件	  xx.sh  xx.py			  
  	#如果不遵循命名的后缀规范，可以使用file命令查询这个文件的文件类型
  
  #s：socket（进程间通讯协议）
  	#同一台服务器中，两个不同的进程需要相互调用时，使用socket协议
  	#不同服务器之间，不同进程之间相互调用时，使用tcp协议（网络传输协议）
  
  #b：块设备
  	#块设备：是I/O设备中的一类，是将信息存储在固定大小的块中，每个块都有自己的地址
  	#块设备包含：硬盘、U盘，SD卡等（存储设备）
  	
  #c：字符设备：能打印字符的设备
  
  #l：链接文件：通常指软链接
  
  #d：目录文件
  
  
  #3、如何查看一个文件的具体类型，借助命令file
  [root@test ~]# file hosts 
  hosts: ASCII text
  
  [root@test ~]# file /root/
  /root/: directory
  
  ```

# 4、系统链接文件

+ ## 文件包含：文件名和数据

+ ## 在Linux上文件被分为：文件元数据（metadata）和数据（data）

+ ## 文件元数据（metadata）：也叫inode，用来记录文件大小、创建时间、所有者等信息，但是inode并不包含文件名称

+ ```bash
  #inode包含文件的元信息：
  	文件的字节数
  	文件的User id	Group id
  	文件的读、写、执行权限
  	文件的时间戳
  	链接数，即有多少个文件名指向这个inode
  	文件数据block的位置信息
  	
  #系统存储文件的步骤分为以下步骤：
  	将文件名称---->映射到一个对应的inode值---->这个inode值保存了：文件的权限，时间，属性，文件存储的内容在磁盘的哪个block上等信息
  
  #系统查看文件内容分为以下步骤：
  	1、首先，系统找到这个文件名对应的inode编号
  	2、其次，通过inode编号，获取inode信息
  	3、最后，根据inode信息，找到文件数据所在的block，读取数据
  ```

+ ## 数据（data block）：也叫block，数据块是用来记录文件真实内容的地方

# 5、系统链接

+ ## Linux系统引入了两种链接：硬链接（hard link）与软链接（soft link）

+ ## 什么是软链接

+ ### 将源文件创建一个快捷键，系统分配了一个新的inode编号给软链接文件本身，但是它将源文件的block存储信息复制过来，所以当查看软链接时看到的数据和源文件的数据相同

+ ### 创建软链接：ln -s 源文件 链接文件

+ ## 软链接的使用场景

+ ### 1、代码发布时

+ ```bash
    #代码发布：就是将代码放到服务器中，运行起来，让外界的用户访问到
    
    #1、创建代码存放目录
    [root@test ~]# mkdir /data
    [root@test ~]# cd /data
    
    #2、创建对应版本号的目录，将新的代码文件上传
    [root@test data]# mkdir www1.0
    [root@test data]# echo "123" >> www1.0/test.txt
    [root@test data]# cat www1.0/test.txt 
    123
    
    #3、创建一个软链接，将最新的代码对外提供给用户访问
    [root@test data]# ln -s /data/www1.0/test.txt /data/www
    [root@test data]# ll
    total 0
    lrwxrwxrwx. 1 root root 21 May 23 16:32 www -> /data/www1.0/test.txt
    drwxr-xr-x. 2 root root 22 May 23 16:31 www1.0
    [root@test data]# cat www
    123
    
    #4、代码更新到新的版本
    [root@test data]# mkdir www1.1
    [root@test data]# echo "456" >> www1.1/test.txt
    [root@test data]# ll
    total 0
    lrwxrwxrwx. 1 root root 21 May 23 16:32 www -> /data/www1.0/test.txt
    drwxr-xr-x. 2 root root 22 May 23 16:31 www1.0
    drwxr-xr-x. 2 root root 22 May 23 16:33 www1.1
    
    #5、删除原来的软链接文件，创建新的软链接指向新的代码文件
    [root@test data]# rm -f www && ln -s /data/www1.1/test.txt /data/www
    [root@test data]# ll
    total 0
    lrwxrwxrwx. 1 root root 13 May 23 16:34 www -> /data/www1.1/
    drwxr-xr-x. 2 root root 22 May 23 16:31 www1.0
    drwxr-xr-x. 2 root root 22 May 23 16:33 www1.1
    
    #6、得到的结果不一样，就说明代码更新成功
    [root@test data]# cat www
    456
    ```

+ ### 2、版本升级时

+ ```bash
    #使用场景设定：
    #开发固定代码更新目录为：/soft/nginx
    #运维提供不同版本的nginx配置，放在了不同的目录下/soft/nginx-1.1、/soft/nginx-1.2
    
    #1、当第一次需要发布/soft/nginx-1.1版本时，只需要将开发的目录指向运维提供的对应版本的目录
    [root@test ~]# mkdir -p /soft/nginx-1.1
  [root@test ~]# cd /soft/
    [root@test soft]# ls
    nginx-1.1
    #创建一个开发使用的/soft/nginx软链接，指向运维提供的目录/soft/nginx-1.1
    [root@test soft]# ln -s /soft/nginx-1.1/ /soft/nginx
    [root@test soft]# ll -i
    total 0
         288 lrwxrwxrwx. 1 root root 16 May 23 16:00 nginx -> /soft/nginx-1.1/
    34555375 drwxr-xr-x. 2 root root  6 May 23 15:51 nginx-1.1
    #***这样本次代码更新就完成了
    
    
    
    #2、当代码需要升级到/soft/nginx-1.2版本时，需要将原来的软链接文件删除，重新创建软链接指向/soft/nginx-1.2/，这样新的版本迭代就成功了
    
    #删除原来的软链接文件
    [root@test soft]# rm -f nginx
    [root@test soft]# ll
    total 0
    drwxr-xr-x. 2 root root 6 May 23 15:51 nginx-1.1
    #提供新版本的源文件
    [root@test soft]# mkdir nginx-1.2
    [root@test soft]# ll -i
    total 0
    34555375 drwxr-xr-x. 2 root root 6 May 23 15:51 nginx-1.1
    67146867 drwxr-xr-x. 2 root root 6 May 23 15:56 nginx-1.2
    #创建新的软链接指向新的源文件
    [root@test soft]# ln -s /soft/nginx-1.2/ /soft/nginx
    [root@test soft]# ll -i
    total 0
         288 lrwxrwxrwx. 1 root root 16 May 23 15:57 nginx -> /soft/nginx-1.2/
    34555375 drwxr-xr-x. 2 root root  6 May 23 15:51 nginx-1.1
    67146867 drwxr-xr-x. 2 root root  6 May 23 15:56 nginx-1.2
    
    #***一切在软链接目录下进行的操作都对源文件目录进行修改
    ```
    
  +

+ ```bash
  #1、创建一个软链接
  ln -s 源文件 链接文件
  
  [root@test ~]# ln -s hosts 1.txt
  
  #两个文件的inode编号不同
  [root@test ~]# ll -i hosts 1.txt
  67146867 lrwxrwxrwx. 1 root root   5 May 22 16:10 1.txt -> hosts
  67146871 -rw-r--r--. 1 root root 158 May  7 20:33 hosts
  
  #查看两个文件的内容相同
  [root@test ~]# cat hosts 
  127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
  ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
  [root@test ~]# cat 1.txt 
  127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
  ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
  
  #删除链接文件对源文件没有影响，但是删除源文件对链接文件有影响
  [root@test ~]# rm -f 1.txt
  [root@test ~]# cat hosts 
  127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
  ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
  
  ```

+ ![输入图片说明](assets/image-20220522160248703.png)

+ ## 硬链接：不同的文件名指向同一个inode，指向同一个数据源

+ ### 类似超市有多个门，无论从哪道门进去 ，看到的内容都是一样的

+ ### 硬链接只支持：文件，不支持：目录，跨分区

+ ### 如何创建硬链接：ln   源文件    硬链接文件

+ ```bash
  #创建硬链接
  [root@test ~]# ln ip.txt ip_hard.txt 
  [root@test ~]# ll -i
  67148312 -rw-r--r--. 2 root root  744 Apr  2  2019 ip_hard.txt
  67148312 -rw-r--r--. 2 root root  744 Apr  2  2019 ip.txt
  #inode编号相同
  
  ```

![输入图片说明](assets/image-20220524112938646.png)

+ ## 软、硬链接的区别

+ ```bash
  #1、硬链接创建：ln 源文件  硬链接文件
  	软链接创建：ln -s 源文件  软链接文件
  	
  #2、目录不能创建硬链接，并且硬链接不支持跨分区系统
  	目录软链接可以创建，并且支持跨分区系统
  
  #3、硬链接文件与源文件的inode编号相同
  	软链接文件与源文件的inode编号不同
  	
  #4、删除硬链接文件，对源文件及软链接文件无影响
  	删除软链接文件，对源文件及硬链接文件无影响
  	删除源文件，对硬链接文件无影响，但会导致软链接文件失效
  	删除源文件及硬链接文件，整个文件都会被真正的删除
  
  ```

# 6、磁盘空间不足

+ ## 原因：

+ ```bash
  #原因1：block数据占满了硬盘
  		#示例：500G硬盘存放了499G视频、1G种子
  		#提示：磁盘空间不足：no space left on device
  		#比较多的大文件占用了磁盘空间导致的（日志、用户数据）
  		
  #原因2：inode用光了（索引节点：存放文件属性信息）系统的inode数量固定，一个萝卜一个坑，会导致磁盘空间不足
  ```

+ ## 排查(简易版)：

+ ```bash
  #遇到磁盘空间不足，1个命令2个选项
  
  #查看block
  df -h
  
  #查看inode
  df -i
  
  #查看某个目录所占空间
  du -sh	+目录名
  
  [root@test ~]# du -sh /etc/
  32M	/etc/
  
  [root@test ~]# du -sh /root/
  88K	/root/
  
  #可以具体查看某个目录下的文件所占空间大小
  [root@test ~]# du -sh /root/*
  4.0K	/root/anaconda-ks.cfg
  4.0K	/root/config
  4.0K	/root/hosts
  4.0K	/root/ifcfg-ens32
  4.0K	/root/ip_hard.txt
  4.0K	/root/new_3.txt
  4.0K	/root/numb.txt
  4.0K	/root/passwd
  4.0K	/root/sort.txt
  4.0K	/root/uniq.txt
  4.0K	/root/web.log
  
  ```

+ ## 解决：

+ ```bash
  #1：block满了
  需要一层一层排查具体到哪一个文件，找到该文件，再进行删除
  [root@test ~]# du -sh /etc/*
  [root@test ~]# du -sh /etc/udev/*
  
  
  #1.1、查看/etc/目录下哪一个文件最大
  [root@test ~]# du -sh /etc/*
  16K	/etc/tuned
  8.5M	/etc/udev
  4.0K	/etc/vconsole.conf
  4.0K	/etc/vimrc
  4.0K	/etc/virc
  
  #1.2、上一个步骤已经查到：/etc/udev目录占用空间比较大，再继续排查
  [root@test ~]# du -sh /etc/udev/*
  8.5M	/etc/udev/hwdb.bin
  0	    /etc/udev/rules.d
  4.0K	/etc/udev/udev.conf
  #此时已经找到了该目录下最大的文件为：/etc/udev/hwdb.bin
  
  #2、inode满了（之后再补充）
  ```

羊咩咩/yunwei_base_study

简介

发行版

贡献者

近期动态

羊咩咩/yunwei_base_study .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

羊咩咩/yunwei_base_study