深入理解Linux文件系统与日志分析

最新推荐文章于 2024-11-04 23:52:01 发布

原创最新推荐文章于 2024-11-04 23:52:01 发布 · 1.2k 阅读

22 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

深入理解 Linux 文件系统

Linux 系统中通过分区、格式化来创建文件系统，而文件系统的运行又与 block 和 inode 有关。

inode 与 block 详解

操作系统的文件数据除了实际内容之外，通常含有非常多的属性，例如 Linux 操作系统的文件权限（rwx）与文件属性（所有者、群组、时间参数等）。文件系统通常会将这两部分内容分别存放在 inode 和 block 中。

概述

文件是存储在硬盘上的，硬盘的最小存储单位叫做“扇区”（sector），每个扇区存储 512 字节。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是 4KB，即连续八个 sector 组成一个 block。

文件数据存储在“块”中，那么还必须找到一个地方存储文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种存储文件元信息的区域就叫做 inode，中文译名为“索引节点”，也叫 i 节点。因此，一个文件必须占用一个 inode，但至少占用一个 block。

inode的内容

inode 包含很多的文件元信息，例如：

文件的字节
文件拥有者的 UserID
文件的 GroupID
文件的读、写、执行权限
文件的时间戳
……

使用stat命令即可查看某个文件的inode信息

[root@localhost ~]$ stat anaconda-ks.cfg

Linux系统文件有三个主要的时间属性：

ctime(change time) 是最后一次改变文件或目录（属性）的时间，例如执行 chmod， chown 等命令
atime(access time)是最后一次访问文件或目录的时间
mtime(modify time)是最后一次修改文件或目录（内容）的时间

inode的号码

用户在访问文件时，表面上是用户通过文件名来打开文件，而实际系统内部的过程分成以下三步：

系统找到这个文件名对应的inode号码
通过inode号码获取inode信息
根据inode信息，找到文件数据所在的block，并读出数据

查看inode号码的常见方式有两种：

使用ls -i命令直接查看文件名所对应的inode
stat 命令：通过查看文件 inode 信息而查看到 inode 号码

inode 的大小

格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据；另一个是 inode 区，存放 inode 所包含的信息。每个 inode 的大小，一般是 128 字节或 256 字节。inode 的总数在格式化时就给定了，执行“df -i”命令即可查看每个硬盘分区对应的的 inode 总数和已经使用的 inode 数量。

由于 inode 号码与文件名分离，导致一些 Unix/Linux 系统具备以下几种特有的现象。

文件名包含特殊字符，可能无法正常删除。这时直接删除 inode，能够起到删除文件的作用
移动文件或重命名文件，只是改变文件名，不影响 inode 号码
打开一个文件以后，系统就以 inode 号码来识别这个文件，不再考虑文件名

软链接与硬链接

1.硬链接

Linux 系统允许多个文件名指向同一个 inode 号码。每个 inode 号码对应一个文件名

这意味着，可以用不同的文件名访问同样的内容。ln 命令可以创建硬链接，命令的基本格式为：

ln 源文件 目标

当一个文件拥有多个硬链接时，对文件内容修改，会影响到所有文件名；但是删除一个文件名，不影响另一个文件名的访问，只会使得 inode 中的"链接数"减 1。注意不能为目录做硬链接

常见的目录本身为 1 个硬链接，而目录 kgc 下面的隐藏目录（点号）是该目录的又一个硬链接，也算是1 个连接数

2.软链接

软链接就是再创建一个独立的文件，而这个文件会让数据的读取指向它连接的那个文件的文件名。简单来说是Windows操作系统中的快捷方式。

ln -s 源文件或目录 目标文件或目录

EXT类型文件恢复

删除一个文件，实际上并不清除 inode 节点和 block 的数据，只是在这个文件的父目录里面的 block 中，删除这个文件的名字。Linux 是通过 Link 的数量来控制文件删除的，只有当一个文件不存在任何 Link 的时候，这个文件才会被删除。

在数据被误删除后，第一时间要做的就是卸载被删除数据所在的分区，如果是根分区的数据遭到误删，就需要将系统进入单用户模式，并且将根分区以只读模式挂载。这样做的原因很简单，因为将文件删除后，仅仅是将文件的 inode 节点中的扇区指针清零，实际文件还存储在磁盘上，如果磁盘继续以读写模式挂载，这些已删除的文件的数据块就可能被操作系统重新分配出去，在这些数据库被新的数据覆盖后，这些数据就真的丢失了，恢复工具也回天无力。所以以只读模式挂载磁盘可以尽量降低数据库中数据被覆盖的风险，以提高恢复数据成功的比例

下面来介绍如何使用extundelete工具来恢复误删的文件

1．编译安装 extundelete

需要先安装两个依赖包 e2fsprogs-libs 和 e2fsprogs-devel，这两个包在系统安装光盘的/Package 目录下就有，使用 rpm 或 yum 命令将其安装。

安装完依赖包之后，即可将提前上传的 extundelete 软件包解压、配置、编译、安装。

2．模拟删除并执行恢复操作

使用 fdisk 命令创建新分区，将其挂载到/tmp 目录下，往该目录下新建一些文件或目录

模拟误操作并恢复

[root@localhost test]$ rm -rf a b                                #删除之前创建的文件
[root@localhost ~]$ umount /test/                                #卸载文件系统
[root@localhost ~]$ extundelete /dev/sdb1 --restore-all          #恢复文件

执行完恢复的命令后，在当前目录下会出现一个/RECOVERED_FILES/目录，里面保存了已经恢复的文件。

xfs类型文件的备份和恢复

xfs 类型的文件可使用 xfsdump 与 xfsrestore 工具进行备份恢复。若系统中未安装xfsdump与xfsrestore工具，可以通过yum install -y xfsdump命令安装。xfsdump 按照inode 顺序备份一个 xfs 文件系统。

xfsdump 的备份级别有两种：0 表示完全备份；1-9 表示增量备份，默认为0

xfsdump的常用备份参数为：

-f：指定备份文件目录

-L：指定标签 session label

-M：指定设备标签 media label

-s：备份单个文件，-s 后面不能直接跟路径

恢复xfs类型文件步骤：

添加一块新硬盘并格式化为xfs类型，然后挂载到/date文件夹下。
在/date文件夹下创建文件或目录
使用xfsdump命令来备份整个分区：
```
xfsdump -f /opt/dump_sdb1 /dev/sdb1
```
删除之前创建的内容，模拟数据丢失

使用xfsrestore命令恢复文件，语法为

xfsrestore -f 恢复文件的的位置 存放恢复后文件的路径

注意：

xfsdump 不支持没有挂载的文件系统备份，所以只能备份已挂载的；
xfsdump 必须使用 root 的权限才能操作(涉及文件系统的关系)；
xfsdump 只能备份 XFS 文件系统；
xfsdump 备份下来的数据(档案或储存媒体)只能让 xfsrestore 解析；
xfsdump 是透过文件系统的 UUID 来分辨各个备份档的，因此不能备份两个具有相同UUID 的文件系统

分析日志文件

日志文件是用于记录 Linux 操作系统中各种运行消息的文件，相当于 Linux 主机的“日记”。不同的日志文件记载了不同类型的信息，如 Linux 内核消息、用户登录事件、程序错误等。

主要日志文件

在 Linux 操作系统中，日志数据主要包括以下三种类型。

内核及系统日志：这种日志数据由系统服务 rsyslog 统一管理，根据其主配置文件 /etc/rsyslog.conf 中的设置决定将内核消息及各种系统程序消息记录到什么位置。
用户日志：这种日志数据用于记录 Linux 操作系统用户登录及退出系统的相关信息，包括用户名、登录的终端、登录时间、来源主机、正在使用的进程操作等。
程序日志：有些应用程序会选择由自己独立管理一份日志文件（而不是交给 rsyslog服务管理），用于记录本程序运行过程中的各种事件信息。

对于 Linux 操作系统中的日志文件，有必要了解其各自的用途，这样才能在需要的时候更快地找到问题所在，及时解决各种故障。下面介绍常见的一些日志文件：

/var/log/messages：记录 Linux 内核消息及各种应用程序的公共日志信息，包括启动、I/0 错误、网络错误、程序故障等
/var/log/cron：记录 crond 计划任务产生的事件信息
/var/log/dmesg：记录 Linux 操作系统在引导过程中的各种事件信息
/var/log/maillog：记录进入或发出系统的电子邮件活动
/var/log/lastlog：记录每个用户最近的登录事件
/var/log/secure：记录用户认证相关的安全事件信息
/var/log/wtmp：记录每个用户登录、注销及系统启动和停机事件
/var/log/btmp：记录失败的、错误的登录尝试及验证事件

日志文件分析

分析日志文件的目的在于通过浏览日志查找关键信息、对系统服务进行调试，以及判断发生故障的原因等

1．内核及系统日志

内核及系统日志功能主要由默认安装的 rsyslog-7.4.7-16.el7.x86_64.rpm 软件包提供。rsyslog 服务所使用的配置文件为/etc/rsyslog.conf。通过查看/etc/rsyslog.conf 文件中的内容，可以了解到系统默认的日志设置

grep -v "^$" /etc/rsyslog.conf

从配置文件/etc/rsyslog.conf 中可以看到，受 rsyslogd 服务管理的日志文件都是 Linux 操作系统中主要的日志文件，它们记录了 Linux 操作系统中内核、用户认证、电子邮件、计划任务等基本的系统消息。在 Linux 内核中，根据日志消息的重要程度不同，将其分为不同的优先级别（数字等级越小，优先级越高，消息越重要）

0 EMERG（紧急）：会导致主机系统不可用的情况。
1 ALERT（警告）：必须马上采取措施解决的问题。
2 CRIT（严重）：比较严重的情况。
3 ERR（错误）：运行出现错误。
4 WARNING（提醒）：可能影响系统功能，需要提醒用户的重要事件。
5 NOTICE（注意）：不会影响正常功能，但是需要注意的事件。
6 INFO（信息）：一般信息。
7 DEBUG（调试）：程序或系统调试信息等。

内核及大多数系统消息被记录到公共日志文件/var/log/messages 中，而其他一些程序消息被记录到各自独立的日志文件中，此外日志消息还能够记录到特定的存储设备中，或者直接发送给指定用户。

查看/var/log/messages 文件的内容如下：

more /var/log/messages
[root@localhost ~]# more /var/log/messages
May 7 09:35:46 localhost dhclient[923]: DHCPREQUEST on ens33 to 192.168.12.254 port 67(xid=0x4f7f013a)
May 7 09:35:46 localhost dhclient[923]: DHCPACK from 192.168.12.254 (xid=0x4f7f013a)

以公共日志/var/log/messages 文件的记录格式为例，其中每一行表示一条日志消息，每

一条消息均包括以下四个字段

时间标签：消息发出的日期和时间。
主机名：生成消息的计算机的名称。
子系统名称：发出消息的应用程序的名称。
消息：消息的具体内容。

2.用户日志

（1）查询当前登录的用户情况——users、who、w 命令

users 命令只是简单地输出当前登录的用户名称，每个显示的用户名对应一个登录会话。如果一个用户有不止一个登录会话，那他的用户名将显示与其相同的次数。users命令具体操作如下：

[root@localhost ~]$ users
root root root     //root 用户打开三个终端

who 命令用于报告当前登录到系统中的每个用户的信息。使用该命令，系统管理员可以查看当前系统存在哪些不合法用户，从而对其进行审计和处理。who 的默认输出包括用户名、终端类型、登录日期及远程主机。who命令具体操作如下：

[root@localhost ~]$ who
root :0 2017-05-07 10:27 (:0)
root pts/1 2017-05-07 10:27 (:0)
root pts/2 2017-05-07 10:28 (192.168.12.1)

w 命令用于显示当前系统中的每个用户及其所运行的进程信息，比 users、who 命令的输出内容要丰富一些。w 命令的具体操作如下：

[root@localhost ~]$ w
11:48:26 up 1:32, 3 users, load average: 0.03, 0.02, 0.05
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
root :0 :0 10:27 ?xdm? 51.22s 0.27s gdm-session-worker
[pam/gdm-password]
root pts/1 :0 10:27 1:20m 0.02s 0.02s bash
root pts/2 192.168.12.1 10:28 2.00s 0.65s 0.04s w

（2）查询用户登录的历史记录——last、lastb 命令

last 命令用于查询成功登录到系统的用户记录，最近的登录情况将显示在最前面。通过last 命令可以及时掌握 Linux 主机的登录情况，若发现未经授权的用户登录过，则表示当前主机可能已被入侵。last 命令的具体操作如下：

[root@localhost ~]$ last
root pts/0 192.168.12.1 Sun May 7 11:11 - 11:46 (00:34)
root pts/2 192.168.12.1 Sun May 7 10:28 still logged in
hackli tty2 Sun May 7 10:27 - 10:29 (00:01)
root pts/1 :0 Sun May 7 10:27 still logged in
root :0 :0 Sun May 7 10:27 still logged in …… //省略部分内容
wtmp begins Wed Apr 12 13:22:51 2017

lastb 命令用于查询登录失败的用户记录，如登录的用户名错误、密码不正确等情况都将记录在案。登录失败的情况属于安全事件，因为这表示可能有人在尝试猜解你的密码。也可以直接从安全日志文件/var/log/secure 中获得相关信息。

[root@localhost ~]$ lastb
teacher tty3 Sun May 7 09:51 - 09:51 (00:00)
root tty3 Sun May 7 09:51 - 09:51 (00:00)
teacher tty3 Sun May 7 09:51 - 09:51 (00:00)
btmp begins Sun May 7 09:51:04 2017

或

[root@localhost ~]$ tail /var/log/secure
May 7 11:53:34 localhost gdm-password]: pam_unix(gdm-password:auth): auth could not identify password for [root]
May 7 11:53:34 localhost gdm-password]: pam_succeed_if(gdm-password:auth): requirement "uid >= 1000" not met by user "root" May 7 11:53:34 localhost gdm-password]: gkr-pam: no password is available for user
May 7 11:53:36 localhost gdm-password]: pam_unix(gdm-password:auth): conversation failed
May 7 11:53:36 localhost gdm-password]: pam_unix(gdm-password:auth): auth could not identify password for [root]
May 7 11:53:36 localhost gdm-password]: pam_succeed_if(gdm-password:auth): requirement "uid >= 1000" not met by user "root" May 7 11:53:36 localhost gdm-password]: gkr-pam: no password is available for user
May 7 11:53:38 localhost gdm-password]: gkr-pam: unlocked login keyring
May 7 11:53:50 localhost login: pam_unix(login:auth): authentication failure; logname=LOGIN uid=0 euid=0 tty=tty3 ruser= rhost= user=teacher
May 7 11:53:52 localhost login: FAILED LOGIN 1 FROM tty3 FOR teacher, Authentication failure