PostgreSQL 데이터베이스 클러스터 전체 백업을 이용하여 복구하기

스폰서 링크
PostgreSQL
스폰서 링크

이 글에서는 데이터베이스 전체를 백업한 파일을 이용하여 문제가 발생한 데이터베이스를 문제가 생기기 이전 상태로 복구하는 방법을 소개합니다.

스폰서 링크

postgres사용자로 로그인

다음과 같이 PostgreSQL 권한을 가진 사용자로 로그인 합니다.

$ su - postgres
암호:*********
마지막 로그인: 수  7월 14 17:29:39 KST 2021 일시 pts/0
$ pwd
/var/lib/pgsql

PostgreSQL서버 정지하기

복구하기 전에 다음 명령으로 PostgreSQL 데이터베이스 서버를 정지합니다.

$ pg_ctl stop
서버를 멈추기 위해 기다리는 중.... 완료
서버 멈추었음

복구 대상 데이터베이스 대피하기

문제가 발생한 데이터베이스를 복구 대상의 데이터베이스를 다른 이름으로 대피 해놓습니다.

$ echo $PGDATA
/var/lib/pgsql/12/data
$ mv /var/lib/pgsql/12/data /var/lib/pgsql/12/data_bak
$ ls -la /var/lib/pgsql/12
합계 8
drwx------.  4 postgres postgres   55  7월 28 21:32 .
drwx------.  4 postgres postgres  119  7월 16 17:17 ..
drwx------.  2 postgres postgres   70  7월 28 21:28 backups
drwx------. 21 postgres postgres 4096  7월 28 21:32 data_bak
-rw-------.  1 postgres postgres 1340  7월 14 16:56 initdb.log

복구 대상 저장소 재작성하기

$ mkdir /var/lib/pgsql/12/data
$ chmod 700 /var/lib/pgsql/12/data
$ ls -la /var/lib/pgsql/12
합계 8
drwx------.  5 postgres postgres   67  7월 28 21:35 .
drwx------.  4 postgres postgres  119  7월 16 17:17 ..
drwx------.  2 postgres postgres   70  7월 28 21:28 backups
drwx------.  2 postgres postgres    6  7월 28 21:35 data
drwx------. 21 postgres postgres 4096  7월 28 21:32 data_bak
-rw-------.  1 postgres postgres 1340  7월 14 16:56 initdb.log

백업 파일로 복구하기

다음 글에서 백업한 /var/lib/pgsql/fullbackup/20210715234911/base.tar.gz 파일을 사용하여 데이터베이스를 복구합니다.

눈깨비 정보창고 - 분기탱천
마우스 영역 지정 이미지 캡처를 문자 인식 및 번역하기 버튼 클릭 만으로  을 실행 해 주는 소프트웨어를 작성 했습니다. 자세한 도움말은 여기를 참조 하십시오. 웹 서비스 구축 눈깨비가 본업으로 하고 있는 기술적인 ...

현재 복구 장소를 다음과 같이 변경한 후, 백업 파일의 압축을 풉니다.

$ cd $PGDATA
$ pwd
/var/lib/pgsql/12/data
$ tar xvfz /var/lib/pgsql/fullbackup/20210715234911/base.tar.gz
backup_label
tablespace_map
pg_wal/
./pg_wal/archive_status/
global/
global/1262
...중간 생략...
postgresql.auto.conf
pg_hba.conf
pg_ident.conf
log/
log/postgresql-Wed.log
log/postgresql-Thu.log
postgresql.conf_install
pg_hba.conf_install
pg_ident.conf_install
current_logfiles
postgresql.conf
global/pg_control
pg_wal/000000010000000000000008
pg_wal/archive_status/000000010000000000000008.done

백업했을 때의 로그 파일과 WAL파일을 삭제합니다. 참고로 WAL파일 이름은 000으로 시작합니다. $PGDATA/pg_wal에 존재하는 archive_status를 삭제하지 않도록 하려면 000에 와일드카드 문자(wildcard character) 붙여서 000으로 시작하는 파일만 삭제합니다.

$ echo $PGDATA
/var/lib/pgsql/12/data
$ rm -rf $PGDATA/log/*.log
$ rm -rf $PGDATA/pg_wal/000*
$ rm -rf $PGDATA/pg_wal/archive_status/*

삭제 결과를 다음과 같이 확인합니다.

$ ls -la $PGDATA/log
합계 4
drwx------.  2 postgres postgres    6  7월 28 22:40 .
drwx------. 20 postgres postgres 4096  7월 28 22:39 ..
$ ls -laR $PGDATA/pg_wal
/var/lib/pgsql/12/data/pg_wal:
합계 4
drwx------.  3 postgres postgres   28  7월 28 21:55 .
drwx------. 20 postgres postgres 4096  7월 28 22:39 ..
drwx------.  2 postgres postgres    6  7월 28 21:55 archive_status

/var/lib/pgsql/12/data/pg_wal/archive_status:
합계 0
drwx------. 2 postgres postgres  6  7월 28 21:55 .
drwx------. 3 postgres postgres 28  7월 28 21:55 ..

백업 파일에서 복구한 환경 파일은 오래된 내용일 수 있습니다. 다음과 같이 변경 내용이 있는지 확인합니다.

$ diff  $PGDATA/postgresql.conf $PGDATA/../data_bak/postgresql.conf
$ diff  $PGDATA/pg_hba.conf $PGDATA/../data_bak/pg_hba.conf
$ diff  $PGDATA/pg_ident.conf $PGDATA/../data_bak/pg_ident.conf

변경 내용이 있다면 환경 파일을 다음과 같이 대피했던 원래의 상태로 돌려 놓습니다.

$ cp -p $PGDATA/../data_bak/postgresql.conf $PGDATA/postgresql.conf
$ cp -p $PGDATA/../data_bak/pg_hba.conf $PGDATA/pg_hba.conf
$ cp -p $PGDATA/../data_bak/pg_ident.conf $PGDATA/pg_ident.conf

백업 시 WAL파일의 최종 위치 확인하기

백업할 때의 WAL파일 위치를 확인할 수 있습니다.

$ cat $PGDATA/backup_label
START WAL LOCATION: 0/8000028 (file 000000010000000000000008)
CHECKPOINT LOCATION: 0/8000060
BACKUP METHOD: streamed
BACKUP FROM: master
START TIME: 2021-07-15 23:52:35 KST
LABEL: pg_basebackup base backup
START TIMELINE: 1

복구 대상 WAL파일 확인

위의 백업 시의 WAL파일의 최종 위치 확인하기 에서 확인한 WAL위치 이후의 WAL파일이 존재한다면 복구 대상이 됩니다. 전제 조건으로 postgresql.conf 환경 파일의 restore_command에 다음과 같이 명령을 지정해야 합니다.

$ vi /var/lib/pgsql/12/data/postgresql.conf
... 중간 생략 ...
restore_command = 'cp /var/lib/pgsql/12/backups/%f %p'
... 중간 생략 ...

다음 명령으로 복구 대상 WAL파일의 존재 여부를 확인합니다.

$ ls -la /var/lib/pgsql/12/backups

복구 시작 알림 파일 작성하기

다음과 같이 복구를 알리는 파일을 만듭니다.

$ touch $PGDATA/recovery.signal

PostgreSQL서버 기동하기

다음 명령으로 서버를 기동합니다.

$ pg_ctl start
서버를 시작하기 위해 기다리는 중....2021-07-28 23:33:16.227 KST [2613] 로그:  starting PostgreSQL 12.7 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44), 64-bit
2021-07-28 23:33:16.229 KST [2613] 로그:  IPv6, 주소: "::1", 포트 5432 번으로 접속을 허용합니다
2021-07-28 23:33:16.229 KST [2613] 로그:  IPv4, 주소: "127.0.0.1", 포트 5432 번으로 접속을 허용합니다
2021-07-28 23:33:16.230 KST [2613] 로그:  "/var/run/postgresql/.s.PGSQL.5432" 유닉스 도메인 소켓으로 접속을 허용합니다
2021-07-28 23:33:16.232 KST [2613] 로그:  "/tmp/.s.PGSQL.5432" 유닉스 도메인 소켓으로 접속을 허용합니다
2021-07-28 23:33:16.245 KST [2613] 로그:  서버 로그를 로그 수집 프로세스로 보냅니다.
2021-07-28 23:33:16.245 KST [2613] 힌트:  이제부터 서버 로그는 "log" 디렉터리에 보관됩니다.
 완료
서버 시작됨
$ cat $PGDATA/log/*.log
2021-07-28 23:33:16.249 KST [2615] 로그:  데이터베이스 시스템이 비정상적으로 종료되었음; 마지막 운영시간: 2021-07-15 23:52:35 KST
cp: cannot stat `/var/lib/pgsql/12/backups/00000002.history': 그런 파일이나 디렉터리가 없습니다
2021-07-28 23:33:16.271 KST [2615] 로그:  아카이브 복구 작업을 시작합니다
cp: cannot stat `/var/lib/pgsql/12/backups/000000010000000000000008': 그런 파일이나 디렉터리가 없습니다
2021-07-28 23:33:16.279 KST [2615] 로그:  0/8000028에서 redo 작업 시작됨
2021-07-28 23:33:16.282 KST [2615] 로그:  0/8000138 위치에서 복구 일관성을 맞춤
2021-07-28 23:33:16.283 KST [2613] 로그:  데이터베이스 시스템이 읽기 전용으로 연결을 수락할 준비가 되었습니다.
cp: cannot stat `/var/lib/pgsql/12/backups/000000010000000000000009': 그런 파일이나 디렉터리가 없습니다
2021-07-28 23:33:16.293 KST [2615] 로그:  0/8000138에서 redo 작업 완료
cp: cannot stat `/var/lib/pgsql/12/backups/000000010000000000000008': 그런 파일이나 디렉터리가 없습니다
cp: cannot stat `/var/lib/pgsql/12/backups/00000002.history': 그런 파일이나 디렉터리가 없습니다
2021-07-28 23:33:16.305 KST [2615] 로그:  지정한 새 타임라인 ID: 2
2021-07-28 23:33:16.348 KST [2615] 로그:  아카이브 복구 완료
cp: cannot stat `/var/lib/pgsql/12/backups/00000001.history': 그런 파일이나 디렉터리가 없습니다
2021-07-28 23:33:16.362 KST [2613] 로그:  이제 데이터베이스 서버로 접속할 수 있습니다

서버 시작됨
$ ps aux | grep "postgres:" | grep -v "\(root\|grep\)"

복구에 실패하는 경우

다음은 복구에 실패하는 경우입니다.

postgresql.conf 환경 파일의 restore_command 를 지정하지 않고 복구하는 경우

$ pg_ctl start
서버를 시작하기 위해 기다리는 중....2021-07-28 23:00:54.127 KST [2345] 로그:  starting PostgreSQL 12.7 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44), 64-bit
2021-07-28 23:00:54.128 KST [2345] 로그:  IPv6, 주소: "::1", 포트 5432 번으로 접속을 허용합니다
2021-07-28 23:00:54.128 KST [2345] 로그:  IPv4, 주소: "127.0.0.1", 포트 5432 번 으로 접속을 허용합니다
2021-07-28 23:00:54.130 KST [2345] 로그:  "/var/run/postgresql/.s.PGSQL.5432" 유닉스 도메인 소켓으로 접속을 허용합니다
2021-07-28 23:00:54.132 KST [2345] 로그:  "/tmp/.s.PGSQL.5432" 유닉스 도메인 소 켓으로 접속을 허용합니다
2021-07-28 23:00:54.142 KST [2345] 로그:  서버 로그를 로그 수집 프로세스로 보냅 니다.
2021-07-28 23:00:54.142 KST [2345] 힌트:  이제부터 서버 로그는 "log" 디렉터리에 보관됩니다.
 중지 기다리는 중
pg_ctl: 서버를 시작 할 수 없음
로그 출력을 살펴보십시오.

$ cat $PGDATA/log/*.log
2021-07-28 23:00:54.147 KST [2347] 로그:  데이터베이스 시스템이 비정상적으로 종 료되었음; 마지막 운영시간: 2021-07-15 23:52:35 KST
2021-07-28 23:00:54.168 KST [2347] 치명적오류:  대기 모드를 활성화 하지 않았다면(standby_mode = off), restore_command 설정은 반드시 있어야 함
2021-07-28 23:00:54.170 KST [2345] 로그:  시작 프로세스 (PID 2347) 프로그램은 1 코드로 마쳤습니다
2021-07-28 23:00:54.170 KST [2345] 로그:  시작 프로세스 실패 때문에 서버 시작이 중지 되었습니다
2021-07-28 23:00:54.171 KST [2345] 로그:  데이터베이스 시스템 서비스를 중지했습 니다

postgresql.conf의 max_wal_senders의 설정 값이 낮게 설정되어있는 경우



$ cat $PGDATA/log/*.log
2021-07-28 22:52:57.969 KST [2283] 로그:  데이터베이스 시스템이 비정상적으로 종료되었음; 마지막 운영시간: 2021-07-15 23:52:35 KST
cp: cannot stat `/var/lib/pgsql/12/backups/00000002.history': 그런 파일이나 디렉터리가 없습니다
2021-07-28 22:52:57.991 KST [2283] 로그:  아카이브 복구 작업을 시작합니다
cp: cannot stat `/var/lib/pgsql/12/backups/000000010000000000000008': 그런 파일이나 디렉터리가 없습니다
2021-07-28 22:52:57.997 KST [2283] 치명적오류:  읽기 전용 대기 서버로 운영이 불가능합니다. 현재 max_wal_senders = 1 설정은 주 서버의 설정값(10)보다 낮게 설정 되어 있기 때문입니다.
2021-07-28 22:52:57.999 KST [2281] 로그:  시작 프로세스 (PID 2283) 프로그램은 1 코드로 마쳤습니다
2021-07-28 22:52:57.999 KST [2281] 로그:  시작 프로세스 실패 때문에 서버 시작이 중지 되었습니다
2021-07-28 22:52:58.000 KST [2281] 로그:  데이터베이스 시스템 서비스를 중지했습니다

/var/lib/pgsql/12/data/backup_label 에서 정의된 요청된 체크포인트 레코드의 위치의 파일이 $PGDATA/pg_wal 또는 /var/lib/pgsql/12/backups/ 의 어디에도 존재하지 않는 경우

$ pg_ctl start
서버를 시작하기 위해 기다리는 중....2021-07-28 23:11:03.819 KST [2416] 로그:  starting PostgreSQL 12.7 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44), 64-bit
2021-07-28 23:11:03.820 KST [2416] 로그:  IPv6, 주소: "::1", 포트 5432 번으로 접속을 허용합니다
2021-07-28 23:11:03.820 KST [2416] 로그:  IPv4, 주소: "127.0.0.1", 포트 5432 번으로 접속을 허용합니다
2021-07-28 23:11:03.821 KST [2416] 로그:  "/var/run/postgresql/.s.PGSQL.5432" 유닉스 도메인 소켓으로 접속을 허용합니다
2021-07-28 23:11:03.825 KST [2416] 로그:  "/tmp/.s.PGSQL.5432" 유닉스 도메인 소켓으로 접속을 허용합니다
2021-07-28 23:11:03.838 KST [2416] 로그:  서버 로그를 로그 수집 프로세스로 보냅니다.
2021-07-28 23:11:03.838 KST [2416] 힌트:  이제부터 서버 로그는 "log" 디렉터리에 보관됩니다.
 중지 기다리는 중
pg_ctl: 서버를 시작 할 수 없음
로그 출력을 살펴보십시오.

$ cat $PGDATA/log/*.log
2021-07-28 23:11:03.844 KST [2418] 로그:  데이터베이스 시스템이 비정상적으로 종료되었음; 마지막 운영시간: 2021-07-15 23:52:35 KST
2021-07-28 23:11:03.867 KST [2418] 로그:  아카이브에서 "00000002.history" 로그파일을 복구했음
cp: cannot stat `/var/lib/pgsql/12/backups/00000003.history': 그런 파일이나 디렉터리가 없습니다
2021-07-28 23:11:03.871 KST [2418] 로그:  아카이브 복구 작업을 시작합니다
2021-07-28 23:11:03.875 KST [2418] 로그:  아카이브에서 "00000002.history" 로그파일을 복구했음
cp: cannot stat `/var/lib/pgsql/12/backups/000000010000000000000008': 그런 파일이나 디렉터리가 없습니다
2021-07-28 23:11:03.881 KST [2418] 로그:  잘못된 checkpoint 레코드
2021-07-28 23:11:03.881 KST [2418] 치명적오류:  요청된 체크포인트 레코드의 위치를 바르게 잡을 수 없음
2021-07-28 23:11:03.881 KST [2418] 힌트:  If you are restoring from a backup, touch "/var/lib/pgsql/12/data/recovery.signal" and add required recovery options.
        If you are not restoring from a backup, try removing the file "/var/lib/pgsql/12/data/backup_label".
        Be careful: removing "/var/lib/pgsql/12/data/backup_label" will result in a corrupt cluster if restoring from a backup.
2021-07-28 23:11:03.882 KST [2416] 로그:  시작 프로세스 (PID 2418) 프로그램은 1 코드로 마쳤습니다
2021-07-28 23:11:03.882 KST [2416] 로그:  시작 프로세스 실패 때문에 서버 시작이 중지 되었습니다
2021-07-28 23:11:03.884 KST [2416] 로그:  데이터베이스 시스템 서비스를 중지했습니다

backup을 복구해서 바로 시작한 경우

$ pg_ctl start
서버를 시작하기 위해 기다리는 중....2021-07-28 23:19:47.028 KST [2471] 로그:  starting PostgreSQL 12.7 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44), 64-bit
2021-07-28 23:19:47.029 KST [2471] 로그:  IPv6, 주소: "::1", 포트 5432 번으로 접속을 허용합니다
2021-07-28 23:19:47.029 KST [2471] 로그:  IPv4, 주소: "127.0.0.1", 포트 5432 번으로 접속을 허용합니다
2021-07-28 23:19:47.030 KST [2471] 로그:  "/var/run/postgresql/.s.PGSQL.5432" 유닉스 도메인 소켓으로 접속을 허용합니다
2021-07-28 23:19:47.032 KST [2471] 로그:  "/tmp/.s.PGSQL.5432" 유닉스 도메인 소켓으로 접속을 허용합니다
2021-07-28 23:19:47.053 KST [2471] 로그:  서버 로그를 로그 수집 프로세스로 보냅니다.
2021-07-28 23:19:47.053 KST [2471] 힌트:  이제부터 서버 로그는 "log" 디렉터리에 보관됩니다.
 완료
서버 시작됨

$ cd log
$ ls
1.log  2.log  postgresql-Wed.log
$ cat postgresql-Wed.log
2021-07-28 23:19:47.069 KST [2473] 로그:  데이터베이스 시스템이 비정상적으로 종료되었음; 마지막 운영시간: 2021-07-15 23:52:35 KST
2021-07-28 23:19:47.091 KST [2473] 로그:  0/8000028에서 redo 작업 시작됨
2021-07-28 23:19:47.091 KST [2473] 로그:  0/8000138 위치에서 복구 일관성을 맞춤
2021-07-28 23:19:47.092 KST [2473] 로그:  0/8000138에서 redo 작업 완료
2021-07-28 23:19:47.135 KST [2471] 로그:  이제 데이터베이스 서버로 접속할 수 있습니다
제목과 URL을 복사했습니다