Linux入门之inode解析及管道重定向
inode
简介:
当磁盘分区格式化后会根据分区格式、大小等信息来指定分区分配多少个inode表,每个inode表都会有一个在当前分区中唯一的编号,可能有一些设备文件会占用指定的id,不同版本的系统可能有所不同
inode表:存取文件的元数据,matedate
block ma块位图:每一个快对应一个存储位,为文件存储数据,加速查找空闲磁盘快的机制
一个分区下,inode会有以下特征:
1、每一个文件都占用一个条目 (indoe 索引节点),也叫inode表
2、每一个indoe表有一个全局唯一的编号
3、inode表中包含了有inode号、属主属组、时间戳、文件大小等,用于定位数据块的指针,说明文件存储在哪些池盘块上,不包含文件名
目录inode结构
1、目录本身也是文件,除了一些元数据外,并没有使用数据block
2、而文件名存在目录上,而目录也是个文件,磁盘块中存在一个表,inode和对应的文件名
目录只是一个文件映射表,类似json或 Map来表示( Key:inode id,value: filename )
文件的生成和删除都会对inode结构有所改变:
新建文件:判断目录是否存在,分配inode,在目录上添加映射信息,分配block
删除文件:删除目录上对应的条目,inode标记为空,block重新标记为未使用(空闲),当要新文件创建会才会覆盖其中数据
剪贴文件:同分区下,只需要删除之取所在目录上的映射记录,然后在同分区的目录下再补上一个新的映射目录来指定原来的inode号和块位图区;不同分区下会删除原有目录的对其文件的映射记录,在指定分区目录下添加新的映射信息,然后分区inode和block位图,并将文件数据拷贝到分配好的数据block中,并删除原来分区上的数据
拷贝文件:无论相同分区还是不同分区,都会重新构建映射表,分配空闲的inode,根据文件大小来确定在空闲的bokck位图上分分配数据所占有的block个数
注意:无论删除还是剪贴,只要被使用过的inode和block数据没有被覆盖,也许还可以恢复,比如数据恢复软件,而新建文件或用到了拷贝过程都会占用空闲的inode和block,那么数据会被覆盖掉
补充:block也会分配类似的编号,而block可能会很多,所有会有block group:把block位图进行分组来进行更方便的文件定位
Indoe 定位文件
inode 除了一些matedate(元数据)还有指针,指针就是用来对block位图进行查询的,小文件可以占用一个或极少的block,但是大文件就可能占用很多的块数据,
这是就需要有不同等级的指针来去指向块数据
指针分级:
直接块指针
间接块指针
双重间接块指针
三重间接块指针
inode大致流程图
总结:Inode编号越小,查找的途径相等也就越快,图中的block编号只是假设,一般分区至少都有上万个block来存数据,而inode指针定位文件数据也会因为文件所在的bitmap分布区间大小而逐步使用更高级的指针去查询
注意:
当直接指针不能指向对应的block,就需要间接指针去寻找数据所分部的其它块,再找不到就逐个使用级别更高的指针,每个分区格式化后会分配固定个数的Inode,而每个文件都会占用一个Inode编号,一般一个indoe表会占用分区空间的1%,当Inode被占用完,及时数据空间大小未被占用完,也无法再向分区里添加新的文件
使用 ls -i 命令查看文件的inode号
格式: ls -i file.....
因为inode id只是相同分区下唯一,所有不同分区下的inode id会不受影响
下面查看当前系统磁盘分区情况
# dfFilesystem 1K-blocks Used Available Use% Mounted on/dev/sda2 5080828 2392344 2426224 50% //dev/sda1 2030736 41860 1884056 3% /boottmpfs 257436 0 257436 0% /dev/shm
解析:会发现有2个分区,tmpfs为虚拟设备映射的目录挂载点
查看2个分区根目录的inode id
# ls -idl / /boot2 drwxr-xr-x 27 root root 4096 Jul 29 09:11 /2 drwxr-xr-x 4 root root 4096 Jul 3 18:25 /boot
解析:这里最左边的编号就是文件的inode id号,这里都显示为2,前面说了,inode只是在相同文件系统下,也就是相同分区下是唯一的,跨分区inode互不干扰,这里是CentOS6及以前的系统,在CentOS7中,分区的挂载点目录id为128,现在想想,分区挂载点的id居然不是1号id?那么1号又是谁占用了?
下面查看2个特殊文件
#ls -ild /proc /sys1 dr-xr-xr-x 137 root root 0 Jul 23 20:44 /proc1 drwxr-xr-x 11 root root 0 Jul 23 20:44 /sys
解析:/proc 为系统内核及其中运行各种进程信息虚拟映射文件,其中进程的信息都被保存成文件,而/sys则为当前系统硬件相关的一些虚拟文件系统
重定向 :
简介:
基本计算机I/O设备,及输入输出设备,在linux会使用特定程序,一般为指用命令来数据文件配合使用,Input 敲击键盘输入指令进行操作,ouput 接收指令来执行特定的操作,重定向一般都是操作文本或于文本相关的数据操作,每个文件都有一个fd文件描述符,来重定向一般是系统通过查找fd来执行命令
Linux 分为 3中I/O设备,012三种fd
1、标准输入 stdin 0 默认接收键盘的输入
2、标准输出 stdout 1 默认将指令操作的数据输出到终端控制台
3、标准错误 stderr 2 默认只显示错误的信息输入到终端控制台
输出重定向:
> 标准输出到指定文件,如果文件有内容将被覆盖
>> 追加输出
2> 错误输入,如果文件有内容将被覆盖
2>> 错误追加输出
&> 总是输出,标准输出和错误输出都会被输出文件
$>> 总是追加输出
将数据丢弃不不保留
/dev/null 软件设备,数据黑洞 : 用于丢弃输出的数据
如果执行了指令不想输出结果信息到控制台可以通过重定向到/dev/null设备
echo “hello world” &> /dev/null #不现实打印信息echo “123456” | passwd --stdin root &> /dev/null #不显示密码设置结果信息find /etc -name passwd > a.log #将/etc下文件名为passwd里的内容输出到a.logls /xxx /etc./sysconfig > ok.log 2>error.log #同时将错误和标准分别输出到两个文件
多个指令同时执行并将结果输出重定向
(who;pwd) > a.log #同时写入用户当前登录列表信息和当前登录用户名
另一种用法,兼容linux 老版本,和&> &>>作用一样
command > /test/file/out1.txt 2> &1 #把错误的当成正确输出,存在就覆盖command >> /test/file/out2.txt 2>> &1 #当作标准输出追加
常用的配合重定向使用的文本流处理工具
使用tr命令对文本流做处理
tr [option] [set1] [set2] 默认将第一字符集转换为第二字符集
-c 取第一个字集的补集,排除之外的
-d 删除第一字符集匹配的字符
-t 转换时字符长度对应转换,不使用此项时第一字符集比第二字符集多,那么第一字符集后面的字都会转换为第二字符集最后一个字符,使用此项会只转换长度索引对应的字符
-s 将第一字符集重复的字符压缩为一个
注意:tr既能做输入重定向,也能做输出重定向
使用 hexdump 查看文本文件的ASCII码
hexdump -C [filepath]
将回车换行等符号转换为特殊字符
cat -A [filepath]
从文件中导入STDIN(标准输入)
与输出重定向不同,使用<来定向标准输入
用命令来接收从文件传入的文本输入流
tr ‘a-z’ ‘A-Z’ /tmp/issue #将小写字母转化为大写字母[root@mzf ~]# tr 'a-z' 'A-Z' < /etc/issueCENTOS RELEASE 6.8 (FINAL)KERNEL \R ON AN \M ON TERMINAL \LHOSTNAME IS \NTIME IS \THELLO WORLD!
tr -d ‘abc’ < /etc/fstab #删除文件中所有a、b、c
单行输入模式
使用cat将键盘逐行输入的内容重定向输出到文件中
cat > filea
[root@mzf ~]# cat > fileamagewangxiaochun
注意:按回车表示换行,换行前可以删除指定行的字符,输出完成后按Ctrl+d来结束输入
[root@mzf ~]# cat filea magewangxiaochun
再次查看发现自动生成的文件已经保存了刚才输入的数据,表示输出重定向成功
情况文本内容并将另一个文本内容的数据出道文件中
cat > fileb < filea
多行输入模式
使用“<<终结词”命令从键盘把多行重定向到STDIN标准输入
注意特点:
1、总结词可以自定义,接收的范围为从开始到终结词的所有文本
2、每输入一行,文本就会被保存
使用mail命令结合多行输入模式发邮件
mail -s ‘Please Call’ root << EOF>HiWang,>>Pleasegivemeacallwhenyougetin.Wemayneed>todosomemaintenanceonserver1.>>Detailswhenyou'reon-site,>Zhang>EOF
注意:这里设定EOF为终结词,最后的终结词必须单独为1行,而且不能有空格
管道
使用 | 来链接多个命令
格式: COMMAND1 | COMMAND2 | COMMAND3 ....
解释:将第一条命令的标准输出发送给第二条命令的标准输入,然后命令2做处理后再将标准输出传给命令3的标准输入然后输出
特殊情况:
一般使用|来接收的命令结果只接收标准输出,而标准错误不会做处理,反而是命令失败,可以使用类似&>(标准错误和标准输入同时接收输出),这里使用 |& 或者 2>&1 |来实现
列子:使用|配合tr处理输出文本
ls | tr ‘a-z’‘A-Z’ #将ls查询的文件列表名中的小写字母换为大写
解析:将ls查询的输出数据流通过管道传到并输入给tr需要的文本流对象,然后输出,从这里发现,tr不仅可以输入也可以输出
重定向到多个目标
问题:当我们使用输入输出重定向时,处理的数据流要么就是输出到控制台,要不就是保存到文件,结构会取决管道的最后一条命令,那么又想输出到控制台,又想保存到文件?
使用tee 命令来同时输出多个目标
w | tee /test/file1 #输出多个目标#将w显示的用户登录信息列表输出到控制台并保存到/test/file1文件中who | tee -a /test/file1 #追加#将who显示的用户登录列表输出到控制台并追加到/test/file1文件中
使用tr和重定向例子
1、将/etc/issue文件中的内容转换为大写后保存至/tmp/issue.out文件中tr 'a-z' 'A-Z' < /etc/issue > /tmp/issue.out2、将当前系统登录用户的信息转换为大写后保存至/tmp/who.out文件中who | tr 'a-z' 'A-Z' > /tmp/who.out3、一个linux用户给root发邮件,要求邮件标题为”help”,邮件正文如下:Hello, I am 用户名,the system version is here,pleasehelp me to check it ,thanks!操作系统版本信息mail -s 'help' root << EOFHello, I am `whoami`,the system version is here,pleasehelp me to check it ,thanks\!\n`lsb_release -a`EOF echo "Hello,I am $USER,the system version is here,pleasehelp me to check it,thanks\!" | mail -s 'help\n`cat /etc/redhat-release`' root4、将/root/下文件列表,显示成一行,并文件名之间用空格隔开 ls -a /root | tr '\n' ' '5、file1文件的内容为:”1 2 3 4 5 6 7 8 9 10” 计算出所有数字的总和echo "1 2 3 4 5 6 7 8
9 10" > /tmp/file1 ; tr ' ' '+' < /tmp/file1 | bc# echo "$[ `echo "1 2 3 4 5 6 7 8 9 10" | tr ' ' '+'`]"6、删除Windows文本文件中的'^M'字符cat -A win.txt | tr -d '\r'7、处理字符串“xt.,l 1 jr#!$mn2 c*/fe3 uz4”,只保留其中的数字和空格echo "xt.,l 1 jr#!$mn2 c*/fe3 uz4" | tr -d '[[:punct:]][[:alpha:]]'8、将PATH变量每个目录显示在独立的一行echo $PATH | tr -t ':' '\n' 9、删除指定文件的空行cat /tmp/issue | tr -s '\n'10、将文件中每个单词(字母)显示在独立的一行,并无空行cat /tmp/issue | tr -cs '[[:alpha:]]' '[\n*]'cat /tmp/issue | tr -cs '[:alpha:]' '\n'