“五分钟学命令系列”之十九《rsync同步的艺术》

一、基本命令

rsync main.c machineB:/home/userB

一般最常用的会加上几个选项,

rsync -avH –progress main.c machineB:/home/userB

1、只要目的端的文件内容和源端不一样,就会触发数据同步,rsync会确保两边的文件内容一样。

2、但rsync不会同步文件的“modify time”,凡是有数据同步的文件,目的端的文件的“modify time”总是会被修改为最新时刻的时间。

3、rsync不会太关注目的端文件的rwx权限,如果目的端没有此文件,那么权限会保持与源端一致;如果目的端有此文件,则权限不会随着源端变更。

4、只要rsync有对源文件的读权限,且对目标路径有写权限,rsync就能确保目的端文件同步到和源端一致。

5、rsync只能以登陆目的端的账号来创建文件,它没有能力保持目的端文件的输主和属组和源端一致。(除非你使用root权限,才有资格要求属主一致、属组一致)

二、-t选项

rsync -t main.c machineB:/home/userB

1、使用-t选项后,rsync总会想着一件事,那就是将源文件的“modify time”同步到目标机器

2、带有-t选项的rsync,会变得更聪明些,它会在同步前先对比两边文件的时间戳和文件大小,如果一致,则就认为两边文件一样,对此文件就不再采取更新动作了。

3、因为rsync的聪明,也会反被聪明误。如果目的端的文件的时间戳、大小和源端完全一致,但是内容恰巧不一致时,rsync是发现不了的。这就是传说中的“坑”!

4、对于rsync自作聪明的情况,解决办法就是使用-I选项。

三、-I选项

rsync -I main.c machineB:/home/userB

1、-I选项会让rsync变得很乖很老实,它会挨个文件去发起数据同步。

2、-I选项可以确保数据的一致性,代价便是速度上会变慢,因为我们放弃了“quick check”策略。(quick check策略,就是先查看文件的时间戳和文件大小,依次先排除一批认为相同的文件)

3、无论情况如何,目的端的文件的modify time总会被更新到当前时刻。

四、-v选项

rsync -v main.c machineB:/home/userB

-v选项就是让rsync输出更多的信息,增加的v越多输出的日志信息也就越多。

五、-z选项

这是个压缩选项,只要使用了这个选项,rsync就会把发向对端的数据先进行压缩再传输。对于网络环境较差的情况下建议使用。

一般情况下,-z的压缩算法会和gzip的一样。

六、-r选项

如果你不额外告诉rsync你需要它帮你同步文件夹的话,它是不会主动承担的,这也正是rsync的懒惰之处。

所以,如果你真的想同步文件夹,那就要加上-r选项,即recursive(递归的、循环的)

rsync -r superman machineB:/home/userB

如果时间戳和文件大小完全一致,只有文件内容不同,且你没有使用-I选项的话,那么,rsync是不会进行数据同步的。

那么,有个问题:“因为在Linux的世界里,文件夹也是文件,如果这类文件(文件夹)也只有内容不同,而时间戳和文件大小都相同,rsync会发现么?”

结论是:

对于文件夹,rsync是会明察秋毫的,只要你加了-r选项,它就会恪尽职守的进入到文件夹里去检查,而不会只对文件夹本身做“quick check”的。

七、-l选项

rsync -l softlink machineB:/home/userB

rsync一旦发现某个文件是软链接,就会无视它,除非我们增加-l选项,rsync就会完全保持软链接文件类型,原原本本的将软链接文件复制到目的端,而不会“follow link”到指向的实体文件。

如果我偏偏就想让rsync采取follow link的方式,那就用-L选项就可以了

八、-p选项

1、如果目的端没有此文件,那么在同步后会将目的端文件的权限保持与源端一致;

2、如果目的端已存在此文件,那么只会同步文件内容,权限保持原有不变。

九、-g选项和-o选项

这两个选项是一对,用来保持文件的属组(group)和属主(owner)。不过要注意的一点是,改变属主和属组,往往只有管理员权限才可以。

十、-a选项

1、-a选项是rsync里比较霸道的一个选项,因为你使用-a选项,就相当于使用了-rlptgoD这一坨选项。以一敌七,唯-a选项也。

2、-a选项的学名应该叫做archive option,中文叫做归档选项。使用-a选项,就表明你希望采取递归方式来同步,且尽可能的保持各个方面的一致性。

3、但是-a选项也有阿克琉斯之踵,那就是-a无法同步“硬链接”情况。如果有这方面需求,要加上-H选项。

十一、–delete选项、–delete-excluded选项和–delete-after选项

1、–delete:如果源端没有此文件,那么目的端也别想拥有,删除之。(如果你使用这个选项,就必须搭配-r选项一起)

2、–delete-excluded:专门指定一些要在目的端删除的文件。

3、–delete-after:默认情况下,rsync是先清理目的端的文件再开始数据同步;如果使用此选项,则rsync会先进行数据同步,都完成后再删除那些需要清理的文件。

在rsync的官方说明里有这么一句话:

This option can be dangerous if used incorrectly!  It is a very good idea to run first using the dry run option (-n) to see what files would be deleted to make sure important files aren't listed.

从这句话里,我们学到了一个小技巧,那就是-n选项,它是一个吓唬人的选项,它会用受影响的文件列表来警告你,但不会真的去删除,这就让我们有了确认的机会。

十二、–exclude选项和–exclude-from选项

如果你不希望同步一些东西到目的端的话,可以使用–exclude选项来隐藏,rsync还是很重视大家隐私的,你可以多次使用–exclude选项来设置很多的“隐私”。

如果你要隐藏的隐私太多的话,在命令行选项中设置会比较麻烦,rsync还是很体贴,它提供了–exclude-from选项,让你可以把隐私一一列在一个文件里,然后让rsync直接读取这个文件就好了。

十三、–partial选项

这就是传说中的断点续传功能。默认情况下,rsync会删除那些传输中断的文件,然后重新传输。但在一些特别情况下,我们不希望重传,而是续传。

在使用中,经常会看到有人会使用-P选项,这个选项其实是为了偷懒而设计的

十四、–progress选项

使用这个选项,rsync会显示出传输进度信息

weinxin
聂扬帆博客
一个分享IT运维相关工作经验和实战技巧的个人博客

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: