利用阿里云OSS定期备份网站

博客之前一直采用的是本地备份方式，如果本地硬盘故障了那么数据也就都没了。在偶然的一天看了张戈博客的文章《Python+Shell脚本结合阿里云OSS对象存储定时远程备份网站》，阿里云ECS到阿里云OSS可以走内网，正好我也是用的阿里云ECS，因为于是就开始折腾。

0x01  OSS配置

1. 登录阿里云控制台，开通OSS，然后新建一个Bucket（名称自定义），注意选择ECS相同的区域（比如青岛的ECS我就选择华北1），并且选择私有读写权限

2. 创建认证秘钥

3. 开始授权

4. 创建得到的密钥最好保存一份，如果忘记了可以到《控制台》查找。

0x02  SDK脚本

SDK脚本可以参考OSS帮助文档，根据自己熟悉的语言选择。我这边使用的是Python SDK。

1. 安装SDK

OSS的Python SDK需要用到oss2插件，如果服务器上已经安装了pip工具，可直接执行如下命令安装oss2插件

$ pip install oss2

如果服务器没有pip工具则需要先安装，再安装oss2

$ yum install python-pip -y

验证oss版本

$ python

>>> import oss2

>>> oss2.__version__

'2.2.2'

上面的输出表明您已经成功安装了特定版本的Python SDK（这里以版本2.2.2为例）。

2. 上传脚本

官方代码请参考Python SDK

下面是我自己使用的上传脚本

# -*- coding: utf-8 -*-

from __future__ import print_function
import os, sys
import oss2

#输入AccessKeyId和AccessKeySecret
auth = oss2.Auth('<AccessKeyId>', '<AccessKeySecret>')

#输入Endpoint和Bucket名
bucket = oss2.Bucket(auth, '<Endpoint>', '<Bucket名>')

#本地文件路径
filePath = sys.argv[1]

#传到OSS上的名称
fileName = filePath.split("/")[-1]

#上传进度条
def percentage(consumed_bytes, total_bytes):
if total_bytes:
rate = int(100 * (float(consumed_bytes) / float(total_bytes)))
print('\r{0}% '.format(rate), end='')
sys.stdout.flush()

#上传文件
bucket.put_object(fileName, filePath, progress_callback=percentage)
print('\rUpload to OSS Success!')

使用方法：将上述代码保存为 upload.py，并上传到服务器/usr/local/bin下，执行如下命令可开始上传文件到OSS

$ python /usr/local/bin/upload.py yangfannie.tar.gz /cache1/backup/yangfannie.com_3.tar.gz

#提示Upload to OSS Success!即上传成功

在OSS的Object界面就可以看到刚上传的文件了

0x03  定时备份

这边用shell写的7天循环备份脚本

#!/bin/bash

test -f /etc/profile && . /etc/profile > /dev/null 2>&1

#获取脚本所在的目录
baseDir=$(cd $(dirname $0) && pwd)

#获取zip版本，如果没有则安装
zip --version > /dev/null || yum install -y zip

#获取下面的命令执行的位置
ZIP=$(which zip)
PYTHON=$(which python)
MYSQLDUMP=$(which mysqldump)

#获取星期几
TODAY=`date +%u`

# OSS上传文件函数
uploadToOSS()
{
$PYTHON $baseDir/upload.py $1
}
#7天循环备份DB脚本
backupDB()
{
domain=$1
dbname=$2
mysqluser=$3
mysqlpd=$4
back_path=$5
test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
cd $back_path
$MYSQLDUMP -u$mysqluser -p$mysqlpd $dbname --skip-lock-tables --default-character-set=binary >$back_path/$domain\_db_$TODAY\.sql
test -f $back_path/$domain\_db_$TODAY\.sql || (echo "MysqlDump failed!" && exit 2)
#ZIP压缩，密码为12345678，密码可自行修改
$ZIP -P12345678 -m $back_path/$domain\_db_$TODAY\.zip $domain\_db_$TODAY\.sql && \
#上传到OSS
uploadToOSS $back_path/$domain\_db_$TODAY\.zip
}

#7天循环备份网站脚本
backupFile()
{
domain=$1
site_path=$2
back_path=$3
test -d $site_path || (echo "$site_path not found!" && exit 2)
test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
test -f $back_path/$domain\_$TODAY\.zip && rm -f $back_path/$domain\_$TODAY\.zip
$ZIP -P1234qaz! -9r $back_path/$domain\_$TODAY\.zip $site_path && \
uploadToOSS $back_path/$domain\_$TODAY\.zip
}
while [ $1 ]; do
case $1 in
'--db' | 'db' )
backupDB $2 $3 $4 $5 $6
exit
;;
'--site' | 'site' )
backupFile $2 $3 $4
exit
;;

esac
done

执行命令：

#赋予脚本执行权限
$ chmod +x /usr/local/bin/backup.sh

#备份DB并上传OSS(参数依次为：db、域名、数据库名称、数据库用户名、对应密码、备份路径)
$ /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup

#备份网站并上传OSS（参数依次为：site、域名、网站根目录、备份路径）
$ /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/

最后把命令加到排程去定时执行即可

0 4 * * * /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/ >/dev/null 2>&1
0 5 * * * /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup >/dev/null 2>&1

0x04  Q&A

1. ErrorCode: AccessDenied ErrorMessage: You have no right to access this object because of bucket acl.

原因：子用户/临时用户没有访问Object的权限

解决办法：辨别密钥是主用户、子用户还是临时用户的。需要用主用户的AccessKeyID。更多的权限问题请参考->[OSS 权限问题及排查]

临时的用户的密钥的AccessKeyID，以STS开头比较好辨认，如“STS.MpsSonrqGM8bGjR6CRKNMoHXe”。

主用户的密钥，需要到[控制台](https://ak-console.aliyun.com/?spm=5176.doc42777.2.8.M3gaJe) 查看AccessKeyID是否存在，如果存在说明是主用户；如果不存在，该用户是子用户。

子用户的秘钥在 访问控制 > 用户管理 > 管理 > 用户详情 > 用户AccessKey，查看子用户的AccessKeyID，并找到对应的子用户。