Automated Backup on Linux/ja

From PostgreSQL wiki
Jump to: navigation, search


原文最終更新日:17 May 2016

ここではクラスタ個別にすべてのデータベースをバックアップするいくつかのスクリプト、必要に応じてセットリストのスキーマのバックアップのみ行うものを取り扱います。理由の一つは、pg_dumpallが単一のファイルに明白なSQLコピーを出力するであるがゆえに、バックアップから個別のデータベースのみをリストアしたいと思った時にpg_dumpallを超えた使い方によってこのスクリプトを利用して欲しいからです。これは、スキーマの特定データベースのみをリストアする場合のオプションも提供します。このアイディアは深夜のcronジョブにて実行される想定です。

  • pg_backup.config - 主となる設定ファイル。利用者が変更する唯一のファイル。
  • pg_backup.sh - それぞれのデータベースで実行され、gzip圧縮そして/又は日付を基本としたディレクトリにバックアップのコピーをカスタムフォーマットによって保存する通常のバックアップスクリプト。
  • pg_backup_rotated.sh - 設定によって期限切れしたバックアップの削除を行うこと以外は上記と同様のもの。

※訳注:以下のスクリプトのコメントを和訳していますが、文字化けなどを起こす環境の場合は原文Automated_Backup_on_Linuxのスクリプトを利用してください。

pg_backup.config

################################
## POSTGRESQLバックアップ設定 ##
################################

# バックアップ実行のためのユーザ設定。もし設定したユーザとこのスクリプトを実行しているユーザがちがう場合は
# スクリプトは終了します。このチェックを回避したい場合は空白を設定してください。
BACKUP_USER=

# pg_hbaファイルのポリシーに紐づいたホスト名の設定。ブランクの場合は、デフォルトで"localhost"となります。
HOSTNAME=

# データベースに接続するユーザ名の設定。ブランクの場合は"postgres"となります。
USERNAME=

# バックアップディレクトリの設定。存在しなければ作成されます。スクリプト実行ユーザによる書き込み権限が
# 必須となります。
BACKUP_DIR=/home/backups/database/postgresql/

# スペースかカンマ区切りで羅列されたデータベース名に合致する文字列リスト。データではなく、スキーマの
# バックアップを保持するためのものとなります。これらの値に含まれるいずれのデータベース名もバックアップ候補となります。
# (例えば"system_log"の指定をすると"dev_system_log_2010-01"にも合致します)
SCHEMA_ONLY_LIST=""

# "yes"の場合はカスタムフォーマットのバックアップが提供されます。
ENABLE_CUSTOM_BACKUPS=yes

# "yes"の場合はgzip圧縮されたプレーンフォーマットのバックアップが提供されます。
ENABLE_PLAIN_BACKUPS=yes

# "yes"の場合はユーザやパスワードをのようなglobalクラスタを含んだsqlファイルをgzipしたものが提供されます。
ENABLE_GLOBALS_BACKUPS=yes


#### 自動ローテーションの設定 ####

# 週次バックアップを取る曜日(1-7 = 月曜日-日曜日)
DAY_OF_WEEK_TO_KEEP=5

# 日次バックアップを保持する日数
DAYS_TO_KEEP=7

# 週次バックアップを保持する週数
WEEKS_TO_KEEP=5

######################################

pg_backup.sh

#!/bin/bash

##############################
####### 設定の読み込み #######
##############################

while [ $# -gt 0 ]; do
        case $1 in
                -c)
                        if [ -r "$2" ]; then
                                source "$2"
                                shift 2
                        else
                                ${ECHO} "Unreadable config file \"$2\"" 1>&2
                                exit 1
                        fi
                        ;;
                *)
                        ${ECHO} "不明なオプションです。 \"$1\"" 1>&2
                        exit 2
                        ;;
        esac
done

if [ $# = 0 ]; then
        SCRIPTPATH=$(cd ${0%/*} && pwd -P)
        source $SCRIPTPATH/pg_backup.config
fi;

##################################
#### バックアップ前のチェック ####
##################################

# 要求されたバックアップユーザで実行中かの確認
if [ "$BACKUP_USER" != "" -a "$(id -un)" != "$BACKUP_USER" ]; then
	echo "このスクリプトは $BACKUP_USER として実行されなければなりません。 終了しています。" 1>&2
	exit 1;
fi;


############################
### デフォルト値で初期化 ###
############################

if [ ! $HOSTNAME ]; then
	HOSTNAME="localhost"
fi;

if [ ! $USERNAME ]; then
	USERNAME="postgres"
fi;


##########################
#### バックアップ開始 ####
##########################


FINAL_BACKUP_DIR=$BACKUP_DIR"`date +\%Y-\%m-\%d`/"

echo "バックアップディレクトリを作成中 $FINAL_BACKUP_DIR"

if ! mkdir -p $FINAL_BACKUP_DIR; then
	echo "バックアップディレクトリを $FINAL_BACKUP_DIR に作成できません。正しく設定してください。" 1>&2
	exit 1;
fi;


############################
### GLOBALのバックアップ ###
############################

echo -e "\n\nglobalsのバックアップを実行中"
echo -e "--------------------------------------------\n"

if [ $ENABLE_GLOBALS_BACKUPS = "yes" ]
then
        echo "Globalのバックアップ"

        if ! pg_dumpall -g -h "$HOSTNAME" -U "$USERNAME" | gzip > $FINAL_BACKUP_DIR"globals".sql.gz.in_progress; then
                echo "[!!エラー!!] globalsのバックアップに失敗しました。" 1>&2
        else
                mv $FINAL_BACKUP_DIR"globals".sql.gz.in_progress $FINAL_BACKUP_DIR"globals".sql.gz
        fi
else
	echo "None"
fi


##################################
### スキーマのみのバックアップ ###
##################################

for SCHEMA_ONLY_DB in ${SCHEMA_ONLY_LIST//,/ }
do
	SCHEMA_ONLY_CLAUSE="$SCHEMA_ONLY_CLAUSE or datname ~ '$SCHEMA_ONLY_DB'"
done

SCHEMA_ONLY_QUERY="select datname from pg_database where false $SCHEMA_ONLY_CLAUSE order by datname;"

echo -e "\n\nスキーマのみのバックアップを実行中"
echo -e "--------------------------------------------\n"

SCHEMA_ONLY_DB_LIST=`psql -h "$HOSTNAME" -U "$USERNAME" -At -c "$SCHEMA_ONLY_QUERY" postgres`

echo -e "以下のデータベースがスキーマのみバックアップ対象となります:\n${SCHEMA_ONLY_DB_LIST}\n"

for DATABASE in $SCHEMA_ONLY_DB_LIST
do
	echo "$DATABASE のスキーマのみバックアップ"

	if ! pg_dump -Fp -s -h "$HOSTNAME" -U "$USERNAME" "$DATABASE" | gzip > $FINAL_BACKUP_DIR"$DATABASE"_SCHEMA.sql.gz.in_progress; then
		echo "[!!エラー!!] $DATABASE スキーマのバックアップに失敗しました。" 1>&2
	else
		mv $FINAL_BACKUP_DIR"$DATABASE"_SCHEMA.sql.gz.in_progress $FINAL_BACKUP_DIR"$DATABASE"_SCHEMA.sql.gz
	fi
done


###############################
###### フルバックアップ #######
###############################

for SCHEMA_ONLY_DB in ${SCHEMA_ONLY_LIST//,/ }
do
	EXCLUDE_SCHEMA_ONLY_CLAUSE="$EXCLUDE_SCHEMA_ONLY_CLAUSE and datname !~ '$SCHEMA_ONLY_DB'"
done

FULL_BACKUP_QUERY="select datname from pg_database where not datistemplate and datallowconn $EXCLUDE_SCHEMA_ONLY_CLAUSE order by datname;"

echo -e "\n\nフルバックアップの実行中"
echo -e "--------------------------------------------\n"

for DATABASE in `psql -h "$HOSTNAME" -U "$USERNAME" -At -c "$FULL_BACKUP_QUERY" postgres`
do
	if [ $ENABLE_PLAIN_BACKUPS = "yes" ]
	then
		echo "$DATABASE のバックアップ"

		if ! pg_dump -Fp -h "$HOSTNAME" -U "$USERNAME" "$DATABASE" | gzip > $FINAL_BACKUP_DIR"$DATABASE".sql.gz.in_progress; then
			echo "[!!エラー!!] $DATABASE のバックアップに失敗しました。" 1>&2
		else
			mv $FINAL_BACKUP_DIR"$DATABASE".sql.gz.in_progress $FINAL_BACKUP_DIR"$DATABASE".sql.gz
		fi
	fi

	if [ $ENABLE_CUSTOM_BACKUPS = "yes" ]
	then
		echo "$DATABASE のカスタムバックアップ"

		if ! pg_dump -Fc -h "$HOSTNAME" -U "$USERNAME" "$DATABASE" -f $FINAL_BACKUP_DIR"$DATABASE".custom.in_progress; then
			echo "[!!エラー!!] $DATABASE のカスタムバックアップに失敗しました。" 1>&2
		else
			mv $FINAL_BACKUP_DIR"$DATABASE".custom.in_progress $FINAL_BACKUP_DIR"$DATABASE".custom
		fi
	fi

done

echo -e "\nすべてのデータベースのバックアップが完了しました。"

pg_backup_rotated.sh

#!/bin/bash

##############################
####### 設定の読み込み #######
##############################

while [ $# -gt 0 ]; do
        case $1 in
                -c)
                        CONFIG_FILE_PATH="$2"
                        shift 2
                        ;;
                *)
                        ${ECHO} "不明なオプションです。 \"$1\"" 1>&2
                        exit 2
                        ;;
        esac
done

if [ -z $CONFIG_FILE_PATH ] ; then
        SCRIPTPATH=$(cd ${0%/*} && pwd -P)
        CONFIG_FILE_PATH="${SCRIPTPATH}/pg_backup.config"
fi

if [ ! -r ${CONFIG_FILE_PATH} ] ; then
        echo "Could not load config file from ${CONFIG_FILE_PATH}" 1>&2
        exit 1
fi

source "${CONFIG_FILE_PATH}"

##################################
#### バックアップ前のチェック ####
##################################

# Make sure we're running as the required backup user
if [ "$BACKUP_USER" != "" -a "$(id -un)" != "$BACKUP_USER" ] ; then
	echo "このスクリプトは $BACKUP_USER として実行されなければなりません。 終了しています。" 1>&2
	exit 1
fi


############################
### デフォルト値で初期化 ###
############################

if [ ! $HOSTNAME ]; then
	HOSTNAME="localhost"
fi;

if [ ! $USERNAME ]; then
	USERNAME="postgres"
fi;


##########################
#### バックアップ開始 ####
##########################

function perform_backups()
{
	SUFFIX=$1
	FINAL_BACKUP_DIR=$BACKUP_DIR"`date +\%Y-\%m-\%d`$SUFFIX/"

	echo "バックアップディレクトリを作成中 $FINAL_BACKUP_DIR"

	if ! mkdir -p $FINAL_BACKUP_DIR; then
		echo "バックアップディレクトリを $FINAL_BACKUP_DIR に作成できません。正しく設定してください。" 1>&2
		exit 1;
	fi;
	
	############################
	### GLOBALのバックアップ ###
	############################

	echo -e "\n\nglobalsのバックアップを実行中"
	echo -e "--------------------------------------------\n"

	if [ $ENABLE_GLOBALS_BACKUPS = "yes" ]
	then
		    echo "Globals backup"

		    if ! pg_dumpall -g -h "$HOSTNAME" -U "$USERNAME" | gzip > $FINAL_BACKUP_DIR"globals".sql.gz.in_progress; then
		            echo "[!!エラー!!] globalsのバックアップに失敗しました。" 1>&2
		    else
		            mv $FINAL_BACKUP_DIR"globals".sql.gz.in_progress $FINAL_BACKUP_DIR"globals".sql.gz
		    fi
	else
		echo "None"
	fi


	##################################
	### スキーマのみのバックアップ ###
	##################################
	
	for SCHEMA_ONLY_DB in ${SCHEMA_ONLY_LIST//,/ }
	do
	        SCHEMA_ONLY_CLAUSE="$SCHEMA_ONLY_CLAUSE or datname ~ '$SCHEMA_ONLY_DB'"
	done
	
	SCHEMA_ONLY_QUERY="select datname from pg_database where false $SCHEMA_ONLY_CLAUSE order by datname;"
	
	echo -e "\n\nスキーマのみのバックアップを実行中"
	echo -e "--------------------------------------------\n"
	
	SCHEMA_ONLY_DB_LIST=`psql -h "$HOSTNAME" -U "$USERNAME" -At -c "$SCHEMA_ONLY_QUERY" postgres`
	
	echo -e "以下のデータベースがスキーマのみバックアップ対象となります:\n${SCHEMA_ONLY_DB_LIST}\n"
	
	for DATABASE in $SCHEMA_ONLY_DB_LIST
	do
	        echo "$DATABASE のスキーマのみバックアップ"
	
	        if ! pg_dump -Fp -s -h "$HOSTNAME" -U "$USERNAME" "$DATABASE" | gzip > $FINAL_BACKUP_DIR"$DATABASE"_SCHEMA.sql.gz.in_progress; then
	                echo "[!!エラー!!] $DATABASE スキーマのバックアップに失敗しました。" 1>&2
	        else
	                mv $FINAL_BACKUP_DIR"$DATABASE"_SCHEMA.sql.gz.in_progress $FINAL_BACKUP_DIR"$DATABASE"_SCHEMA.sql.gz
	        fi
	done
	
	
	###############################
	###### フルバックアップ #######
	###############################

	for SCHEMA_ONLY_DB in ${SCHEMA_ONLY_LIST//,/ }
	do
		EXCLUDE_SCHEMA_ONLY_CLAUSE="$EXCLUDE_SCHEMA_ONLY_CLAUSE and datname !~ '$SCHEMA_ONLY_DB'"
	done

	FULL_BACKUP_QUERY="select datname from pg_database where not datistemplate and datallowconn $EXCLUDE_SCHEMA_ONLY_CLAUSE order by datname;"

	echo -e "\n\nフルバックアップの実行中"
	echo -e "--------------------------------------------\n"

	for DATABASE in `psql -h "$HOSTNAME" -U "$USERNAME" -At -c "$FULL_BACKUP_QUERY" postgres`
	do
		if [ $ENABLE_PLAIN_BACKUPS = "yes" ]
		then
			echo "$DATABASE のバックアップ"
	
			if ! pg_dump -Fp -h "$HOSTNAME" -U "$USERNAME" "$DATABASE" | gzip > $FINAL_BACKUP_DIR"$DATABASE".sql.gz.in_progress; then
				echo "[!!エラー!!] $DATABASE のバックアップに失敗しました。" 1>&2
			else
				mv $FINAL_BACKUP_DIR"$DATABASE".sql.gz.in_progress $FINAL_BACKUP_DIR"$DATABASE".sql.gz
			fi
		fi

		if [ $ENABLE_CUSTOM_BACKUPS = "yes" ]
		then
			echo "$DATABASE のカスタムバックアップ"
	
			if ! pg_dump -Fc -h "$HOSTNAME" -U "$USERNAME" "$DATABASE" -f $FINAL_BACKUP_DIR"$DATABASE".custom.in_progress; then
				echo "[!!エラー!!] $DATABASE のカスタムバックアップに失敗しました。"
			else
				mv $FINAL_BACKUP_DIR"$DATABASE".custom.in_progress $FINAL_BACKUP_DIR"$DATABASE".custom
			fi
		fi

	done

	echo -e "\nすべてのデータベースのバックアップが完了しました。"
}

# MONTHLY BACKUPS

DAY_OF_MONTH=`date +%d`

if [ $DAY_OF_MONTH -eq 1 ];
then
	# 全ての期限切れ月次ディレクトリの削除
	find $BACKUP_DIR -maxdepth 1 -name "*-monthly" -exec rm -rf '{}' ';'
	        	
	perform_backups "-monthly"
	
	exit 0;
fi

# 週次バックアップ

DAY_OF_WEEK=`date +%u` #1-7 (Monday-Sunday)
EXPIRED_DAYS=`expr $((($WEEKS_TO_KEEP * 7) + 1))`

if [ $DAY_OF_WEEK = $DAY_OF_WEEK_TO_KEEP ];
then
	# 全ての期限切れ週次ディレクトリの削除
	find $BACKUP_DIR -maxdepth 1 -mtime +$EXPIRED_DAYS -name "*-weekly" -exec rm -rf '{}' ';'
	        	
	perform_backups "-weekly"
	
	exit 0;
fi

# 日次バックアップ

# 7日以前の日次バックアップの削除
find $BACKUP_DIR -maxdepth 1 -mtime +$DAYS_TO_KEEP -name "*-daily" -exec rm -rf '{}' ';'

perform_backups "-daily"