Linux入门之inode解析及管道重定向

inode

简介:

   当磁盘分区格式化后会根据分区格式、大小等信息来指定分区分配多少个inode表,每个inode表都会有一个在当前分区中唯一的编号,可能有一些设备文件会占用指定的id,不同版本的系统可能有所不同

 

inode表:存取文件的元数据,matedate

block ma块位图:每一个快对应一个存储位,为文件存储数据,加速查找空闲磁盘快的机制

一个分区下,inode会有以下特征:

1、每一个文件都占用一个条目 (indoe 索引节点),也叫inode

2、每一个indoe表有一个全局唯一的编号

3inode表中包含了有inode号、属主属组、时间戳、文件大小等,用于定位数据块的指针,说明文件存储在哪些池盘块上,不包含文件名

 

目录inode结构

1、目录本身也是文件,除了一些元数据外,并没有使用数据block

2、而文件名存在目录上,而目录也是个文件,磁盘块中存在一个表,inode和对应的文件名

目录只是一个文件映射表,类似jsonMap来表示( Key:inode id,value: filename )

 

文件的生成和删除都会对inode结构有所改变:

新建文件:判断目录是否存在,分配inode,在目录上添加映射信息,分配block

删除文件:删除目录上对应的条目,inode标记为空,block重新标记为未使用(空闲),当要新文件创建会才会覆盖其中数据

剪贴文件:同分区下,只需要删除之取所在目录上的映射记录,然后在同分区的目录下再补上一个新的映射目录来指定原来的inode号和块位图区;不同分区下会删除原有目录的对其文件的映射记录,在指定分区目录下添加新的映射信息,然后分区inodeblock位图,并将文件数据拷贝到分配好的数据block中,并删除原来分区上的数据

拷贝文件:无论相同分区还是不同分区,都会重新构建映射表,分配空闲的inode,根据文件大小来确定在空闲的bokck位图上分分配数据所占有的block个数

 

 

注意:无论删除还是剪贴,只要被使用过的inodeblock数据没有被覆盖,也许还可以恢复,比如数据恢复软件,而新建文件或用到了拷贝过程都会占用空闲的inodeblock,那么数据会被覆盖掉

 

补充:block也会分配类似的编号,而block可能会很多,所有会有block group:block位图进行分组来进行更方便的文件定位

 

Indoe 定位文件

inode 除了一些matedate(元数据)还有指针,指针就是用来对block位图进行查询的,小文件可以占用一个或极少的block,但是大文件就可能占用很多的块数据,

这是就需要有不同等级的指针来去指向块数据

指针分级:

直接块指针

间接块指针

双重间接块指针

三重间接块指针

                        inode大致流程图

总结:Inode编号越小,查找的途径相等也就越快,图中的block编号只是假设,一般分区至少都有上万个block来存数据,而inode指针定位文件数据也会因为文件所在的bitmap分布区间大小而逐步使用更高级的指针去查询

 

注意:

当直接指针不能指向对应的block,就需要间接指针去寻找数据所分部的其它块,再找不到就逐个使用级别更高的指针,每个分区格式化后会分配固定个数的Inode,而每个文件都会占用一个Inode编号,一般一个indoe表会占用分区空间的1%,当Inode被占用完,及时数据空间大小未被占用完,也无法再向分区里添加新的文件

 

使用 ls -i 命令查看文件的inode

格式: ls  -i  file.....

因为inode id只是相同分区下唯一,所有不同分区下的inode id会不受影响

下面查看当前系统磁盘分区情况

# dfFilesystem          1K-blocks      Used Available Use% Mounted on/dev/sda2           5080828        2392344  2426224  50% //dev/sda1            2030736      41860   1884056  3% /boottmpfs             257436       0    257436   0% /dev/shm

解析:会发现有2个分区,tmpfs为虚拟设备映射的目录挂载点

查看2个分区根目录的inode id

# ls  -idl  /  /boot2 drwxr-xr-x 27 root root 4096 Jul 29 09:11 /2 drwxr-xr-x  4 root root 4096 Jul  3 18:25 /boot

解析:这里最左边的编号就是文件的inode id号,这里都显示为2,前面说了,inode只是在相同文件系统下,也就是相同分区下是唯一的,跨分区inode互不干扰,这里是CentOS6及以前的系统,在CentOS7中,分区的挂载点目录id128,现在想想,分区挂载点的id居然不是1id?那么1号又是谁占用了?

下面查看2个特殊文件

#ls  -ild  /proc  /sys1 dr-xr-xr-x 137 root root 0 Jul 23 20:44 /proc1 drwxr-xr-x  11 root root 0 Jul 23 20:44 /sys

解析:/proc 为系统内核及其中运行各种进程信息虚拟映射文件,其中进程的信息都被保存成文件,而/sys则为当前系统硬件相关的一些虚拟文件系统

 

重定向 :

简介:

   基本计算机I/O设备,及输入输出设备,在linux会使用特定程序,一般为指用命令来数据文件配合使用,Input 敲击键盘输入指令进行操作,ouput 接收指令来执行特定的操作,重定向一般都是操作文本或于文本相关的数据操作,每个文件都有一个fd文件描述符,来重定向一般是系统通过查找fd来执行命令

 

Linux 分为 3中I/O设备,012三种fd

1、标准输入 stdin        0 默认接收键盘的输入

2、标准输出 stdout       1 默认将指令操作的数据输出到终端控制台

3、标准错误 stderr      2 默认只显示错误的信息输入到终端控制台

 

输出重定向:

>     标准输出到指定文件,如果文件有内容将被覆盖

>>    追加输出

2>    错误输入,如果文件有内容将被覆盖

2>>    错误追加输出

&>    总是输出,标准输出和错误输出都会被输出文件

$>>   总是追加输出

 

将数据丢弃不不保留

/dev/null 软件设备,数据黑洞 : 用于丢弃输出的数据

 

如果执行了指令不想输出结果信息到控制台可以通过重定向到/dev/null设备

echo  “hello world” &> /dev/null                #不现实打印信息echo  “123456” | passwd --stdin root &> /dev/null  #不显示密码设置结果信息find  /etc  -name  passwd  > a.log         #将/etc下文件名为passwd里的内容输出到a.logls /xxx /etc./sysconfig  > ok.log  2>error.log       #同时将错误和标准分别输出到两个文件

 

多个指令同时执行并将结果输出重定向

(who;pwd)  >  a.log   #同时写入用户当前登录列表信息和当前登录用户名

 

另一种用法,兼容linux 老版本,和&> &>>作用一样

command  > /test/file/out1.txt   2>  &1   #把错误的当成正确输出,存在就覆盖command  >> /test/file/out2.txt  2>>  &1    #当作标准输出追加

 

常用的配合重定向使用的文本流处理工具

使用tr命令对文本流做处理

tr  [option]  [set1]  [set2]  默认将第一字符集转换为第二字符集

-c 取第一个字集的补集,排除之外的

-d 删除第一字符集匹配的字符

-t 转换时字符长度对应转换,不使用此项时第一字符集比第二字符集多,那么第一字符集后面的字都会转换为第二字符集最后一个字符,使用此项会只转换长度索引对应的字符

-s 将第一字符集重复的字符压缩为一个

注意:tr既能做输入重定向,也能做输出重定向

 

使用 hexdump 查看文本文件的ASCII

hexdump  -C  [filepath]

 

将回车换行等符号转换为特殊字符

cat  -A  [filepath]

 

从文件中导入STDIN(标准输入)

与输出重定向不同,使用<来定向标准输入

用命令来接收从文件传入的文本输入流

tr  ‘a-z’  ‘A-Z’  /tmp/issue  #将小写字母转化为大写字母[root@mzf ~]# tr 'a-z' 'A-Z' < /etc/issueCENTOS RELEASE 6.8 (FINAL)KERNEL \R ON AN \M  ON TERMINAL \LHOSTNAME IS \NTIME IS \THELLO WORLD!
tr  -d ‘abc’ <  /etc/fstab  #删除文件中所有a、b、c

 

单行输入模式

使用cat将键盘逐行输入的内容重定向输出到文件中

cat  >  filea

[root@mzf ~]# cat > fileamagewangxiaochun

注意:按回车表示换行,换行前可以删除指定行的字符,输出完成后按Ctrl+d来结束输入

[root@mzf ~]# cat filea magewangxiaochun

再次查看发现自动生成的文件已经保存了刚才输入的数据,表示输出重定向成功

 

情况文本内容并将另一个文本内容的数据出道文件中

cat  >  fileb  <  filea

 

 

多行输入模式

使用“<<终结词”命令从键盘把多行重定向到STDIN标准输入

注意特点:

1、总结词可以自定义,接收的范围为从开始到终结词的所有文本

2、每输入一行,文本就会被保存

使用mail命令结合多行输入模式发邮件

mail  -s  ‘Please  Call’  root  << EOF>HiWang,>>Pleasegivemeacallwhenyougetin.Wemayneed>todosomemaintenanceonserver1.>>Detailswhenyou'reon-site,>Zhang>EOF

注意:这里设定EOF为终结词,最后的终结词必须单独为1行,而且不能有空格

 

管道

使用 | 来链接多个命令

格式: COMMAND1 | COMMAND2 | COMMAND3 ....

解释:将第一条命令的标准输出发送给第二条命令的标准输入,然后命令2做处理后再将标准输出传给命令3的标准输入然后输出

特殊情况:

一般使用|来接收的命令结果只接收标准输出,而标准错误不会做处理,反而是命令失败,可以使用类似&>(标准错误和标准输入同时接收输出),这里使用 |& 或者 2>&1 |来实现

列子:使用|配合tr处理输出文本

ls | tr  ‘a-z’‘A-Z’  #将ls查询的文件列表名中的小写字母换为大写

解析:将ls查询的输出数据流通过管道传到并输入给tr需要的文本流对象,然后输出,从这里发现,tr不仅可以输入也可以输出

 

重定向到多个目标

问题:当我们使用输入输出重定向时,处理的数据流要么就是输出到控制台,要不就是保存到文件,结构会取决管道的最后一条命令,那么又想输出到控制台,又想保存到文件?

使用tee 命令来同时输出多个目标

w  | tee  /test/file1                        #输出多个目标#将w显示的用户登录信息列表输出到控制台并保存到/test/file1文件中who | tee  -a  /test/file1              #追加#将who显示的用户登录列表输出到控制台并追加到/test/file1文件中

 

 

使用tr和重定向例子

1、将/etc/issue文件中的内容转换为大写后保存至/tmp/issue.out文件中tr 'a-z' 'A-Z' < /etc/issue > /tmp/issue.out2、将当前系统登录用户的信息转换为大写后保存至/tmp/who.out文件中who | tr 'a-z' 'A-Z' > /tmp/who.out3、一个linux用户给root发邮件,要求邮件标题为”help”,邮件正文如下:Hello, I am 用户名,the system version is here,pleasehelp me to check it ,thanks!操作系统版本信息mail -s 'help' root << EOFHello, I am `whoami`,the system version is here,pleasehelp me to check it ,thanks\!\n`lsb_release -a`EOF echo "Hello,I am $USER,the system version is here,pleasehelp me to check it,thanks\!" | mail -s 'help\n`cat /etc/redhat-release`' root4、将/root/下文件列表,显示成一行,并文件名之间用空格隔开 ls -a /root | tr '\n' ' '5、file1文件的内容为:”1 2 3 4 5 6 7 8 9 10” 计算出所有数字的总和echo "1 2 3 4 5 6 7 8
9 10" > /tmp/file1 ; tr ' ' '+' < /tmp/file1 | bc# echo  "$[ `echo  "1 2 3 4 5 6 7 8 9 10" | tr  ' '  '+'`]"6、删除Windows文本文件中的'^M'字符cat -A win.txt | tr -d '\r'7、处理字符串“xt.,l 1 jr#!$mn2 c*/fe3 uz4”,只保留其中的数字和空格echo "xt.,l 1 jr#!$mn2 c*/fe3 uz4" | tr -d '[[:punct:]][[:alpha:]]'8、将PATH变量每个目录显示在独立的一行echo $PATH | tr -t ':' '\n' 9、删除指定文件的空行cat /tmp/issue | tr -s '\n'10、将文件中每个单词(字母)显示在独立的一行,并无空行cat /tmp/issue | tr -cs '[[:alpha:]]' '[\n*]'cat /tmp/issue | tr -cs '[:alpha:]' '\n'