真正的inotify+rsync实时同步彻底告别同步慢-白红宇

真正的inotify+rsync实时同步彻底告别同步慢

阅读量：7087 次

发布时间：2019-06-28

本文共 10202 字，大约阅读时间需要 34 分钟。

真正的inotify+rsync实时同步彻底告别同步慢

我们公司在用inotify+rsync做实时同步，来解决分布式集群文件一致性的问题。

但当web文件越来越多(百万级数量html,jpg等小文件)，同步就越来越慢，根本做不到实时，按照网上的调优方法都尝试过，问题根本没有解决。

经过我一翻细致研究，终于把慢的核心问题研究明白，先总结一句 inotifywait响应不会有延迟，rsync也很快。大家同样有慢的烦恼，那是因为网上的inotify+rsync的教程都是坑。

--------------------------inotifywait 单独分析--------------------------

/usr/local/bin/inotifywait -mrq --format '%Xe %w%f' -e modify,create,delete,attrib /data/

执行上面命令，是让inotifywait监听/data/目录，当监听到有发生modify,create,delete,attrib等事件发生时，按%Xe %w%f的格式输出。

在/data/目录touch几个文件

touch /data/{1..5}

观看inotify输出

ATTRIB /data/1 -- 表示发生了ATTRIB事件路径为/data/1

ATTRIB /data/2

ATTRIB /data/3

ATTRIB /data/4

ATTRIB /data/5

知道上面的输出效果之后我们应该想得到，可以用rsync获取inotifywait监控到的文件列表来做指定的文件同步，而不是每次都由rsync做全目录扫描来判断文件是否存在差异。

有很多人会说日志输出那里明明只有差异文件的同步记录。其实这是rsync的功能，他本来就只会输出有差异需要同步的文件信息。不信你直接拿这句rsync来跑试试。

这种在需要同步的源目录文件量很大的情况下，简直是不堪重负。不仅耗CPU还耗时，根本不可以做到实时同步。

改良方法

要做到实时，就必须要减少rsync对目录的递归扫描判断，尽可能的做到只同步inotify监控到已发生更改的文件。

结合rsync的特性，所以这里要分开判断来实现一个目录的增删改查对应的操作。

脚本如下

#!/bin/bash

src=/data/ # 需要同步的源路径

des=data                             # 目标服务器上 rsync --daemon 发布的名称，rsync --daemon这里就不做介绍了，网上搜一下，比较简单。

rsync_passwd_file=/etc/rsyncd.passwd # rsync验证的密码文件

ip1=192.168.0.18                 # 目标服务器1

ip2=192.168.0.19                 # 目标服务器2

user=root                            # rsync --daemon定义的验证用户名

cd ${src}

# 此方法中，由于rsync同步的特性，这里必须要先cd到源目录，inotify再监听 ./ 才能rsync同步后目录结构一致，有兴趣的同学可以进行各种尝试观看其效果

/usr/local/bin/inotifywait -mrq --format '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file

# 把监控到有发生更改的"文件路径列表"循环

do

INO_EVENT=$(echo $file | awk '{print $1}')      # 把inotify输出切割把事件类型部分赋值给INO_EVENT

INO_FILE=$(echo $file | awk '{print $2}')       # 把inotify输出切割把文件路径部分赋值给INO_FILE

echo "-------------------------------$(date)------------------------------------"

echo $file

#增加、修改、写入完成、移动进事件

#增、改放在同一个判断，因为他们都肯定是针对文件的操作，即使是新建目录，要同步的也只是一个空目录，不会影响速度。

if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]         # 判断事件类型

then

echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'

rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&

# INO_FILE变量代表路径哦 -c校验文件内容

rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}

#仔细看上面的rsync同步命令源是用了$(dirname ${INO_FILE})变量即每次只针对性的同步发生改变的文件的目录(只同步目标文件的方法在生产环境的某些极端

#环境下会漏文件现在可以在不漏文件下也有不错的速度做到平衡)

#然后用-R参数把源的目录结构递归到目标后面保证目录结构一致性

fi

#删除、移动出事件

if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]

then

echo 'DELETE or MOVED_FROM'

rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&

rsync -avzR --delete --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}

#看rsync命令如果直接同步已删除的路径${INO_FILE}会报no such or directory错误所以这里同步的源是被删文件或目录的上一级路径

#并加上--delete来删除目标上有而源中没有的文件，这里不能做到指定文件删除，如果删除的路径越靠近根，则同步的目录月多，同步删除的操作就越花时间。

#这里有更好方法的同学，欢迎交流。

fi

#修改属性事件指 touch chgrp chmod chown等操作

if [[ $INO_EVENT =~ 'ATTRIB' ]]

then

echo 'ATTRIB'

if [ ! -d "$INO_FILE" ]

# 如果修改属性的是目录则不同步，因为同步目录会发生递归扫描，等此目录下的文件发生同步时，rsync会顺带更新此目录。

then

rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip1}::${des} &&

rsync -avzcR --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip2}::${des}

fi

fi

done

-----------计划性任务：每两小时做1次全量同步----------

因为inotify只在启动时会监控目录，他没有启动期间的文件发生更改，他是不知道的，所以这里每2个小时做1次全量同步，防止各种意外遗漏，保证目录一致。

crontab -e

* */2 * * * rsync -avz --password-file=/etc/rsync-client.pass /data/ root@192.168.0.18::data && rsync -avz --password-file=/etc/rsync-client.pass /data/ root@192.168.0.19::data

改良后我们公司这种百万级小文件也能做到实施同步了。

------------inotify介绍---------------

Inotify API用于检测文件系统变化的机制。Inotify可用于检测单个文件，也可以检测整个目录。当检测的对象是一个目录的时候，目录本身和目录里的内容都会成为检测的对象。

此种机制的出现的目的是当内核空间发生某种事件之后，可以立即通知到用户空间。方便用户做出具体的操作。

事实上，在 inotify 之前已经存在一种类似的机制叫 dnotify，但是它存在许多缺陷：

1) 对于想监视的每一个目录，用户都需要打开一个文件描述符，因此如果需要监视的目录较多，将导致打开许多文件描述符，特别是，如果被监视目录在移动介质上（如光盘和 USB 盘），将导致无法 umount 这些文件系统，因为使用 dnotify 的应用打开的文件描述符在使用该文件系统。

2) dnotify 是基于目录的，它只能得到目录变化事件，当然在目录内的文件的变化会影响到其所在目录从而引发目录变化事件，但是要想通过目录事件来得知哪个文件变化，需要缓存许多 stat 结构的数据。

3) Dnotify 的接口非常不友好，它使用 signal。

Inotify 是为替代 dnotify 而设计的，它克服了 dnotify 的缺陷，提供了更好用的，简洁而强大的文件变化通知机制：

1) Inotify 不需要对被监视的目标打开文件描述符，而且如果被监视目标在可移动介质上，那么在 umount 该介质上的文件系统后，被监视目标对应的 watch 将被自动删除，并且会产生一个 umount 事件。

2) Inotify 既可以监视文件，也可以监视目录。

3) Inotify 使用系统调用而非 SIGIO 来通知文件系统事件。

4) Inotify 使用文件描述符作为接口，因而可以使用通常的文件 I/O 操作select 和 poll 来监视文件系统的变化。

Inotify 可以监视的文件系统事件包括：

IN_ACCESS，即文件被访问

IN_MODIFY，文件被 write

IN_ATTRIB，文件属性被修改，如 chmod、chown、touch 等

IN_CLOSE_WRITE，可写文件被 close

IN_CLOSE_NOWRITE，不可写文件被 close

IN_OPEN，文件被 open

IN_MOVED_FROM，文件被移走,如 mv

IN_MOVED_TO，文件被移来，如 mv、cp

IN_CREATE，创建新文件

IN_DELETE，文件被删除，如 rm

IN_DELETE_SELF，自删除，即一个可执行文件在执行时删除自己

IN_MOVE_SELF，自移动，即一个可执行文件在执行时移动自己

IN_UNMOUNT，宿主文件系统被 umount

IN_CLOSE，文件被关闭，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)

IN_MOVE，文件被移动，等同于(IN_MOVED_FROM | IN_MOVED_TO)

参数说明

inotifywait

语法：
inotifywait [-hcmrq] [-e ] [-t ] [--format ] [--timefmt ] [ ... ]
参数：
-h,–help
输出帮助信息
@
排除不需要监视的文件，可以是相对路径，也可以是绝对路径。
–fromfile
从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头。
-m, –monitor
接收到一个事情而不退出，无限期地执行。默认的行为是接收到一个事情后立即退出。
-d, –daemon
跟–monitor一样，除了是在后台运行，需要指定–outfile把事情输出到一个文件。也意味着使用了–syslog。
-o, –outfile
输出事情到一个文件而不是标准输出。
-s, –syslog
输出错误信息到系统日志
-r, –recursive
监视一个目录下的所有子目录。
-q, –quiet
指定一次，不会输出详细信息，指定二次，除了致命错误，不会输出任何信息。
–exclude
正则匹配需要排除的文件，大小写敏感。
–excludei
正则匹配需要排除的文件，忽略大小写。
-t , –timeout
设置超时时间，如果为0，则无限期地执行下去。
-e , –event
指定监视的事件。
-c, –csv
输出csv格式。
–timefmt
指定时间格式，用于–format选项中的%T格式。
–format
指定输出格式。
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由–timefmt定义的时间格式

inotifywatch

语法：
inotifywatch [-hvzrqf] [-e ] [-t ] [-a ] [-d ] [ ... ]
参数：
-h, –help
输出帮助信息
-v, –verbose
输出详细信息
@
排除不需要监视的文件，可以是相对路径，也可以是绝对路径。
–fromfile
从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头。
-z, –zero
输出表格的行和列，即使元素为空
–exclude
正则匹配需要排除的文件，大小写敏感。
–excludei
正则匹配需要排除的文件，忽略大小写。
-r, –recursive
监视一个目录下的所有子目录。
-t , –timeout
设置超时时间
-e , –event
只监听指定的事件。
-a , –ascending
以指定事件升序排列。
-d , –descending
以指定事件降序排列。

#文件或目录被移除，之后不再监听此文件或目录。 #文件或目录创建 #文件或目录删除 #文件系统取消挂载，之后不再监听此文件系统。

access	#文件读取
modify	#文件更改。
attrib	#文件属性更改，如权限，时间戳等。
close_write	#以可写模式打开的文件被关闭，不代表此文件一定已经写入数据。
close_nowrite	#以只读模式打开的文件被关闭。
close	#文件被关闭，不管它是如何打开的。
open	#文件打开。
moved_to	#一个文件或目录移动到监听的目录，即使是在同一目录内移动，此事件也触发。
moved_from	#一个文件或目录移出监听的目录，即使是在同一目录内移动，此事件也触发。
move	#包括moved_to和 moved_from
move_self	#文件或目录被移除，之后不再监听此文件或目录。
create	#文件或目录创建
delete	#文件或目录删除
delete_self	#文件或目录移除，之后不再监听此文件或目录
unmount	#文件系统取消挂载，之后不再监听此文件系统。

-------------------优化 Inotify-----------------------

在/proc/sys/fs/inotify目录下有三个文件，对inotify机制有一定的限制

[root@web ~]# ll /proc/sys/fs/inotify/

总用量0

-rw-r--r--1 root root 09月923:36 max_queued_events

-rw-r--r--1 root root 09月923:36 max_user_instances

-rw-r--r--1 root root 09月923:36 max_user_watches

-------------------------------------------------------------------------------------------------------------

max_user_watches #设置inotifywait或inotifywatch命令可以监视的文件数量(单进程)

max_user_instances #设置每个用户可以运行的inotifywait或inotifywatch命令的进程数

max_queued_events #设置inotify实例事件(event)队列可容纳的事件数量

-------------------------------------------------------------------------------------------------------------

[root@web ~]# echo 50000000>/proc/sys/fs/inotify/max_user_watches -- 把他加入/etc/rc.local就可以实现每次重启都生效

[root@web ~]# echo 50000000>/proc/sys/fs/inotify/max_queued_events

附录：

Rsync的命令格式可以为以下六种：

1 rsync [OPTION]... SRC DEST

2 rsync [OPTION]... SRC [USER@]HOST:DEST

3 rsync [OPTION]... [USER@]HOST:SRC DEST

4 rsync [OPTION]... [USER@]HOST::SRC DEST

5 rsync [OPTION]... SRC [USER@]HOST::DEST

6 rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]