«

编写脚本令Xtrabackup对MySQL数据进行备份的教程

时间：2024-3-2 01:16     作者：韩俊     分类： Mysql


Xtrabackup备份恢复原理
备份innodb表时，xtrabackup若干个线程拷贝独立表空间的.ibd文件，并不停监视此过程中redo log的变化，添加到自己的事务日志文件（xtrabackup_logfile）中。在此过程中，发生的物理写操作越多，xtrabackup_logfile越大。在拷贝完成后的第一个prepare阶段，xtrabackup采用类似于innodb崩溃恢复的方法，把数据文件恢复到与日志文件一致的状态，并把未提交的事务回滚。如果同时需要备份myisam表以及innodb表结构等文件，那么就需要用flush tables with lock来获得全局锁，开始拷贝这些不再变化的文件，同时获得binlog位置，拷贝结束后释放锁，也停止对redo log的监视。

很多同学对上面的理解有混淆，以为拷贝.ibd文件就跟操作系统拷贝文件一样。其实这里涉及到fractured page的问题，他应该会重新读取（应该也有重试次数，超过后备份不成功）。

其实这个原理很简单，了解下doublewrite就可以理解了“本段摘录自《MySQL技术内幕：InnoDB存储引擎》”：
如果说插入缓冲带给InnoDB存储引擎的是性能，那么两次写带给InnoDB存储引擎的是数据的可靠性。当数据库宕机时，可能发生数据库正在写一个页面，而这个页只写了一部分（比如16K的页，只写前4K的页）的情况，我们称之为部分写失效（partial page write）。在InnoDB存储引擎未使用double write技术前，曾出现过因为部分写失效而导致数据丢失的情况。

有人也许会想，如果发生写失效，可以通过重做日志进行恢复。这是一个办法。但是必须清楚的是，重做日志中记录的是对页的物理操作，如偏移量800，写“aaaa”记录。如果这个页本身已经损坏，再对其进行重做是没有意义的。这就是说，在应用（apply）重做日志前，我们需要一个页的副本，当写入失效发生时，先通过页的副本来还原该页，再进行重做，这就是doublewrite。


一、下载和安装
XtraBackup现在最新版本为2.1.5，官方也提供了2.0的版本可供下载，官方链接地址：http://www.percona.com/software/percona-xtrabackup；可以下载源码编译安装，也可以下载适合的RPM包或使用yum进行安装。由于没有需要特殊定制的，因此建议直接使用RPM安装即可。

安装方法一：
下载RPM安装包：

wget http://www.percona.com/downloads/XtraBackup/LATEST/RPM/rhel6/x86_64/percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm

安装依赖：

[root@localhost ~]# yum install -y perl-DBD-MySQL perl-DBI perl-Time-HiRes libaio*

安装：

[root@localhost ~]# rpm -ivh percona-xtrabackup-2.1.5-680.rhel6.x86_64.rpm 

Preparing...           ########################################### [100%] 
1:percona-xtrabackup   ########################################### [100%]

安装方法二：
安装percona源：

[root@localhost ~]# rpm -Uhv http://www.percona.com/downloads/percona-release/percona-release-0.0-1.x86_64.rpm

使用yum安装percona-xtrabackup：

[root@localhost ~]# yum -y install percona-xtrabackup

查看安装结果：

[root@localhost ~]# rpm -qa |grep xtrabackup 

percona-xtrabackup-2.1.5-680.rhel6.x86_64 

[root@localhost ~]# rpm -ql percona-xtrabackup-2.1.5-680.rhel6.x86_64 

/usr/bin/innobackupex 
/usr/bin/innobackupex-1.5.1 
/usr/bin/xbcrypt 
/usr/bin/xbstream 
/usr/bin/xtrabackup 
/usr/bin/xtrabackup_55 
/usr/bin/xtrabackup_56 
/usr/share/doc/percona-xtrabackup-2.1.5 
/usr/share/doc/percona-xtrabackup-2.1.5/COPYING

Xtrabackup中主要包含两个工具：
xtrabackup：是用于热备份innodb, xtradb表中数据的工具，不能备份其他类型的表，也不能备份数据表结构；

innobackupex：是将xtrabackup进行封装的perl脚本，提供了备份myisam表的能力。

二、备份脚本

#!/bin/sh
#===================================================================================================
## 备份工具：
##  percona-xtrabackup-2.2.6
##
## 备份策略：
##  (1)、每天凌晨04:20点进行全量备份一次；
##  (2)、每隔1小时增量备份一次；
##
#===================================================================================================
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin

## DB备份基路径
BACKUP_BASE_DIR="/data/mysql_backup"

## 增量备份时，用到的基准目录列表文件
## 内容格式：基准目录|本次备份目录|备份类型【full|inc】
INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt"

## 备份工具路径
XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex"

## MySQL配置路径
MYSQL_CNF_PATH="/etc/my.cnf"

## 线程数
THREAD_CNT=6

#===================================================================================================
function print_help_info()
{
  echo "--------------------------------------------------------------"
  echo "Usage: $0 full | inc | help"
  echo "--------------------------------------------------------------"
  echo ""
  exit 1
}

[[ $# -lt 1 ]] && print_help_info
[[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR}

## xtrabackup基础套件不存在时，进行自动下载安装
if [[ ! -e ${XTRABACKUP_PATH} ]]; then
  cd /usr/local
  wget -q -O xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/tarball/percona-xtrabackup-2.2.6-5042-Linux-x86_64.tar.gz
  tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz
  mv percona-xtrabackup-2.2.6-Linux-x86_64 xtrabackup-2.2.6
  rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup

  for FNAME in `ls -1t /usr/local/xtrabackup/bin`
  do
    rm -f /usr/bin/${FNAME} && ln -s /usr/local/xtrabackup/bin/${FNAME} /usr/bin/${FNAME}
  done
fi

## 只允许一个副本运行，以避免全量备份与增量备份出现交叉，发生数据错乱的可能性
##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1

## 目录名默认精确到分钟，为避免意外情况，导致备份任务失败，可以精确到秒
CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M`
[[ -d ${CURRENT_BAK_PATH} ]] && CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M-%S`

#===================================================================================================
## 全量备份
if [[ "$1" == "full" ]]; then
  ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
  echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

## 增量备份
elif [[ "$1" == "inc" ]]; then
  ## 基准目录列表文件不存在或者为空的情况，需要做一次全量备份
  if [[ ! -f ${INC_BASE_LIST} || `sed '/^$/d' ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

  ## 不存在任何目录的情况，需要做一次全量备份，以避免增量备份失败
  elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then
    ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
    echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

  ## 在上一次备份的基础上，进行增量备份
  else
    PREV_BACKUP_DIR=`sed '/^$/d' ${INC_BASE_LIST} | tail -1 | awk -F '|' '{print $2}'`
    ## 上次的备份目录不存在或者目录为空的情况，以避免人为删除的可能性【针对部分恶意删除的情况，目前还没有较好的检查方法】
    if [[ ! -d ${PREV_BACKUP_DIR} || -z `ls ${PREV_BACKUP_DIR}` ]]; then
      ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}
      echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}
    else
      ${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}
      echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}
    fi
  fi

elif [[ "$1" == "help" ]]; then
  print_help_info

else
  print_help_info
fi

## 删除2周前的数据备份
rm -rf ${BACKUP_BASE_DIR}/`date -d '14 days ago' +'%F'`_*
sed -i "/`date -d '14 days ago' +'%F'`/d" ${INC_BASE_LIST}

#===================================================================================================
##The End

####################################################################################################
## 需要添加的crontab信息：
##   (1)、全量备份
##   20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1
##
##   (2)、增量备份
##   00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1
##
####################################################################################################

####################################################################################################
## DB数据恢复步骤：
##  (1)、应用基准
##  innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full
##
##  (2)、应用第一个增量备份
##  innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one
##
##  (3)、应用第二个增量备份
##  innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two
##
##  (4)、再次应用基准
##  innobackupex --user=root --defaults-file=/etc/my.cnf --use-memory=8G --apply-log /data/mysql_backup/full
##
##  (5)、恢复
##  innobackupex --user=root --defaults-file=/etc/my.cnf --copy-back /data/mysql_backup/full
####################################################################################################

三、效果展示

标签: mysql

热门推荐

1 详解MySQL中的SQRT函数的使用方法
2 浅谈MySQL模糊查询中通配符的转义
3 MySQL中索引优化distinct语句及distinct的多字段操作
4 MongoDB中对文档的增删查改基本操作方法总结
5 如何为MySQL创建高性能索引
6 mybatisplus+pgsql查询bug怎么解决
7 正确使用MySQL update语句
8 oracle数据库排序后怎么获取第一条数据
9 关于mysql init_connect的几个要点总结
10 深入浅出的学习Mysql

日历

标签

hbase maven eclipse sybase PostgreSQL spring emcache oracle mongodb redis nginx golang java vue android ios mysql linux 微信小程序 css html php教程 javascript python php

搜索

最新文章

热门文章