百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Linux搭建rsync备用服务器,及配置文件详解

bigegpt 2024-08-08 11:59 2 浏览

rsync官方网址:https://rsync.samba.org/

一:rsync介绍

rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份工具。

在守护进程模式(daemon mode)下,rsync默认监听TCP端口873,以原生rsync传输协议或者通过远程shell如RSH或者SSH提供文件。SSH模式下,rsync客户端运行程序必须同时在本地和远程机器上安装。

全量与增量,全量:将全部数据进行传输覆盖,增量:只传输差异部分的数据,rsync通过独特的“quick check”算法,实现增量数据传输

rsync的功能

类似与cp命令    --- (本地备份传输数据)

类似于scp命令   --- (远程备份传输数据)

类似于rm命令 --- (实现无差异同步备份)

类似于ls命令 --- (本地文件信息查看)

模拟环境,两台机器:Linux 系统Centos 7

备份服务器ip:172.16.2.4, 客户端服务器(nfs存储共享)ip:172.16.2.3

目的:将nfs服务器/www目录的数据,备份到备份服务器的/backup/web目录

扩展配置:

1:rsync+inotify实时监控同步备份:

2:rsync+sersync实时监控同步备份


二:rsync的安装

服务端(备份服务器)和客户端都要安装。

yum -y install rsync

如果想安装最新版本,则自己wget官网最新版本,然后编译安装。

基本命令语法:

Local: rsync [OPTION...] SRC... [DEST]

Access via remote shell:
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

Access via rsync daemon:
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST


当然如果觉得记得复杂的话,就记住从前往后传即可:rsync 参数 前面(源路径) 后面(目的路径)

注:源路径如果是一个目录的话,带上尾随斜线和不带尾随斜线是不一样的,不带尾随斜线表示的是整个目录包括目录本身,带上尾随斜线表示的是目录中的文件,不包括目录本身。


三:三种传输方式

1):本地模式:类似与cp命令

将/etc/fstab同步至/tmp目录,如果fstab加斜杠/,则将fstab目录下所有文件同步至/tmp。

以下命令类似功能 cp /etc/fstab /tmp

rsync /etc/fstab /tmp #在本地同步,将fstab目录同步至/tmp
rsync /etc/fstab/ /tmp #将fstab目录下所有文件同步至/tmp


2):远程模式:类似于scp命令

远程分pull下载和push上传两种:

rsync -r /www 172.16.2.4:/backup/web 
# 将本地/www目录上传至远程主机的/backup/web下,远程/backup/web目录和本地/www保持同步
rsync -r 172.16.2.4:/backup/web /www 
# 将远程主机的/backup/web目录下载到本地/www下,本地/www目录和远程/backup/web保持同步


3):守护进程模式(最主要的用法)

注意:如果是下载数据,远端服务器源数据目录权限可以为任意权限

注意:如果是上传数据,远端接收文件的目录权限必须是rsync权限

3.1): 服务端配置

创建rsync系统用户

useradd rsync -s /sbin/nologin -M 
#创建一个rsync的虚拟用户,只被程序使用

修改服务端配置文件

vim /etc/rsyncd.conf

配置如下:

fake super = yes 这个选项版本以前是没有的,在新版本中如果不加上这个参数,会报权限错误 rsync: chgrp ".hosts.G6sZha" (in backup) failed: Operation not permitted (1)

注:配置文件最后要删除掉所有#注释部分的备注信息,否则同步过程有可能会失败l

uid = rsync #用户 远端命令使用rsync访问共享目录
gid = rsync #用户组
use chroot = no #安全相关
max connections = 200 #最大连接数
timeout = 300 #超时时间(不进行备份多长时间断开)
pid file = /var/run/rsyncd.pid #进程对应进程号文件(存放服务运行时进程id号)
lock file = /var/run/rsync.lock #锁文件
log file = /var/log/rsyncd.log #日志文件,显示出错信息
fake super = yes #在新版本中必须加这个
#模块信息:
[backup]
comment = "backup"
path = /backup/web #模块对应的位置(路径)
ignore errors #忽略错误程序
read only = false #是否只读(这里是假,表示能写入)
list = false #是否可以列表*
hosts allow = 172.16.2.0/24 #准许访问rsync服务器客户范围(白名单)
#hosts deny = 0.0.0.0/32 #禁止访问rsync服务器客户范围(黑名单)
auth users = rsync_backup #不存在的用户,只用于认证
#设置进行连接认证的密钥文件:
secrets file = /etc/rsync.password #认证时密钥文件

创建数据备份存储目录

创建备份目录,将backup目录及目录以下文件权限改为rsync

mkdir /backup/web
chown -R rsync.rsync /backup/
#一定要将文件属主和属组改成rsync用户


创建认证用户密码文件,修改文件权限

注:密码文件必须是600权限,否则报错

echo "rsync_backup:123456" >/etc/rsync.password
chmod 600 /etc/rsync.password #为了安全起见,把认证用户的密码文件权限改成600

启动rsync守护进程,并查看是否启动

rsync --daemon #启动守护进程
ps -ef |grep rsync #查看是否启动进程
netstat -lntup |grep rsync #查看是否监听873端口

查看已经正常启动并监听873端口:

3.2): 客户端配置

创建密码文件,客户端密码文件中,只需要密码即可,密码文件的权限是600

echo "123456" >/etc/rsync.password
chmod 600 /etc/rsync.password

3.3 ):传输测试,相关参数为服务端配置文件设置的

客户端上传至服务端测试:

/www/将本地www文件下所有文件上传至备份服务器172.16.2.4。如果是/www,则是将整个www文件夹备份过去。

rsync_backup为服务器中配置文件的auth users参数,::backup是以后的模块参数及配置文件中的[backup],后面接配置文件中的密码文件路径,免交互,不用输入密码就可传输。

rsync -avz /www/ rsync_backup@172.16.2.4::backup --password-file=/etc/rsync.password

在客户端下载测试:

将备份服务器的backup模块配置的path路径的文件下载至本地www目录下。

rsync -avz rsync_backup@172.16.2.4::backup --password-file=/etc/rsync.password /www

到此配置完成!!!

3.4): 添加开机启动守护进程

echo "/usr/bin/rsync --daemon" >> /etc/rc.local


四:rsync命令参数(参考)

参数:说明

-v : --verbose 详细模式输出

-a:--archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD

-z: 对备份的文件在传输时进行压缩处理

-P: 显示进度

-r: --recursive 对子目录以递归模式处理

-l: --links 保留软链结

-p: --perms 保持文件权限

-o: --owner 保持文件属主信息

-g:--group 保持文件属组信息

-D: --devices 保持设备文件信息

-t:--times 保持文件时间信息

-e: --rsh=command 指定使用rsh、ssh方式进行数据同步

-S: --sparse 对稀疏文件进行特殊处理以节省DST的空间

-n: --dry-run 现实哪些文件将被传输

-w:--whole-file 拷贝文件,不进行增量检测

-B: --block-size=SIZE 检验算法使用的块尺寸,默认是700字节。

-x: --one-file-system 不要跨越文件系统边界

-R: -relative 使用相对路径信息

-b: --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

-u: --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件,不覆盖更新的文件

-q: --quiet 精简输出模式

-c: --checksum 打开校验开关,强制对文件传输进行校验

--exclude=PATTERN:指定排除不需要传输的文件模式

--exclude-from=FILE:排除FILE中指定模式的文件

--bwlimit=KBPS:限制I/O带宽,KBytes per second

--delete:删除那些DST中SRC没有的文件

--password-file=FILE:从FILE中得到密码


平常经常使用命令参数有rsync -avz

排除同步:--exclude=a (排除a)

rsync -avz --exclude=a /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password


排除a 和b

rsync -avz --exclude={a,b} /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password


排除连续的a-f

rsync -avz --exclude={a..f} /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password


完全同步:无差异同步--delete

rsync -avz --delete /backup/ rsync_backup@172.16.1.41::backup/ --password-file=/etc/rsync.password


五:服务端配置文件属性参数详解(参考)

文件配置在vim /etc/rsyncd.conf,没有的话需自己创建。

参数配置分为全局参数和模块参数

全局参数如下:

常见的全局参数:说明

port : # 指定后台程序使用的端口号,默认为873。

uid : # 该选项指定当该模块传输文件时守护进程应该具有的uid,配合gid选项使用可以确定哪些可以访问怎么样的文件权限,默认值是" nobody"。

gid : # 该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为" nobody"。

max connections : # 指定该模块的最大并发连接数量以保护服务器,超过限制的连接请求将被告知随后再试。 默认值是0,也就是没有限制。

lock file :# 指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock。

motd file : # " motd file"参数用来指定一个消息文件,当客户连接服务器时该文件的内容显示给客户, 默认是没有motd文件的。

log file : # " log file"指定rsync的日志文件,而不将日志发送给syslog。

pid file :# 指定rsync的pid文件,通常指定为“/var/run/rsyncd.pid”,存放进程ID的文件位置。

hosts allow = :# 单个IP地址或网络地址 ,允许访问的客户机地址。

模块参数[modul]如下:

常见的模块参数:主要是定义服务器哪个要被同步输出,其格式必须为“ [ 共享模块名 ]” 形式,这个名字就是在 rsync 客户端看到的名字,服务器真正同步的数据是通过 path 来指定的。

Comment : # 给模块指定一个描述,该描述连同模块名在客户连接得到模块列表时显示给客户。 默认没有描述定义。

Path : # 指定该模块的供备份的目录树路径,该参数是必须指定的。

read only : # yes为只允许下载,no为可以下载和上传文件到服务器。

exclude : # 用来指定多个由空格隔开的多个文件或目录(相对路径),将其添加到exclude列表中。 这等同于在客户端命令中使用―exclude或----filter来指定某些文件或目录不下载或上传。

exclude from : # 指定一个包含exclude模式的定义的文件名,服务器从该文件中读取exclude列表定义, 每个文件或目录需要占用一行。

include : # 用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式,结合include和exclude可以定义复杂的exclude/include规则。

include from : # 指定一个包含include模式的定义的文件名,服务器从该文件中读取include列表定义。

auth users : # 该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块, 这里的用户和系统用户没有任何关系。 如果" auth users"被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在" secrets file"选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式)。

secrets file : # 该选项指定一个包含定义用户名:密码对的文件。 只有在" auth users"被定义时,该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名,注意:该文件的权限一定要是600,否则客户端将不能连接服务器。

hosts allow : # 指定哪些IP的客户允许连接该模块。定义可以是以下形式: 单个IP地址,例如:192.167.0.1,多个IP或网段需要用空格隔开,整个网段,例如:192.168.0.0/24,也可以是192.168.0.0/255.255.255.0,“*”则表示所有,默认是允许所有主机连接。

hosts deny : # 指定不允许连接rsync服务器的机器,可以使用hosts allow的定义方式来进行定义。 默认是没有hosts deny定义。

list : # 该选项设定当客户请求可以使用的模块列表时,该模块是否应该被列出。 如果设置该选项为false,可以创建隐藏的模块。默认值是true。

timeout :# 通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟,0表示没有超时定义,这也是默认值。对于匿名rsync服务器来说,一个理想的数字是600。

ignore errors :   # 忽略I/P不正确 。

ignore nonreadable : # 忽略对用户没有可读的文件。

相关推荐

【Docker 新手入门指南】第十章:Dockerfile

Dockerfile是Docker镜像构建的核心配置文件,通过预定义的指令集实现镜像的自动化构建。以下从核心概念、指令详解、最佳实践三方面展开说明,帮助你系统掌握Dockerfile的使用逻...

Windows下最简单的ESP8266_ROTS_ESP-IDF环境搭建与腾讯云SDK编译

前言其实也没啥可说的,只是我感觉ESP-IDF对新手来说很不友好,很容易踩坑,尤其是对业余DIY爱好者搭建环境非常困难,即使有官方文档,或者网上的其他文档,但是还是很容易踩坑,多研究,记住两点就行了,...

python虚拟环境迁移(python虚拟环境conda)

主机A的虚拟环境向主机B迁移。前提条件:主机A和主机B已经安装了virtualenv1.主机A操作如下虚拟环境目录:venv进入虚拟环境:sourcevenv/bin/active(1)记录虚拟环...

Python爬虫进阶教程(二):线程、协程

简介线程线程也叫轻量级进程,它是一个基本的CPU执行单元,也是程序执行过程中的最小单元,由线程ID、程序计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销,提高了操作系统的并发性能...

基于网络安全的Docker逃逸(docker)

如何判断当前机器是否为Docker容器环境Metasploit中的checkcontainer模块、(判断是否为虚拟机,checkvm模块)搭配学习教程1.检查根目录下是否存在.dockerenv文...

Python编程语言被纳入浙江高考,小学生都开始学了

今年9月份开始的新学期,浙江省三到九年级信息技术课将同步替换新教材。其中,新初二将新增Python编程课程内容。新高一信息技术编程语言由VB替换为Python,大数据、人工智能、程序设计与算法按照教材...

CentOS 7下安装Python 3.10的完整过程

1.安装相应的编译工具yum-ygroupinstall"Developmenttools"yum-yinstallzlib-develbzip2-develope...

如何在Ubuntu 20.04上部署Odoo 14

Odoo是世界上最受欢迎的多合一商务软件。它提供了一系列业务应用程序,包括CRM,网站,电子商务,计费,会计,制造,仓库,项目管理,库存等等,所有这些都无缝集成在一起。Odoo可以通过几种不同的方式进...

Ubuntu 系统安装 PyTorch 全流程指南

当前环境:Ubuntu22.04,显卡为GeForceRTX3080Ti1、下载显卡驱动驱动网站:https://www.nvidia.com/en-us/drivers/根据自己的显卡型号和...

spark+python环境搭建(python 环境搭建)

最近项目需要用到spark大数据相关技术,周末有空spark环境搭起来...目标spark,python运行环境部署在linux服务器个人通过vscode开发通过远程python解释器执行代码准备...

centos7.9安装最新python-3.11.1(centos安装python环境)

centos7.9安装最新python-3.11.1centos7.9默认安装的是python-2.7.5版本,安全扫描时会有很多漏洞,比如:Python命令注入漏洞(CVE-2015-2010...

Linux系统下,五大步骤安装Python

一、下载Python包网上教程大多是通过官方地址进行下载Python的,但由于国内网络环境问题,会导致下载很慢,所以这里建议通过国内镜像进行下载例如:淘宝镜像http://npm.taobao.or...

centos7上安装python3(centos7安装python3.7.2一键脚本)

centos7上默认安装的是python2,要使用python3则需要自行下载源码编译安装。1.安装依赖yum-ygroupinstall"Developmenttools"...

利用本地数据通过微调方式训练 本地DeepSeek-R1 蒸馏模型

网络上相应的教程基本都基于LLaMA-Factory进行,本文章主要顺着相应的教程一步步实现大模型的微调和训练。训练环境:可自行定义,mac、linux或者window之类的均可以,本文以ma...

【法器篇】天啦噜,库崩了没备份(天啦噜是什么意思?)

背景数据库没有做备份,一天突然由于断电或其他原因导致无法启动了,且设置了innodb_force_recovery=6都无法启动,里面的数据怎么才能恢复出来?本例采用解析建表语句+表空间传输的方式进行...