ERROR: Refuse to push WAL segment 000000010000032B00000016 into archive. Instance parameters mismatch.Instance 'fis' should have SYSTEM_ID = 0 instead of 7016240137167361795

[BeeKeeper74]

Добрый день.

Postgres v11

Неожиданно перестали отправляться wal логи в архив с ошибкой:
ERROR: Refuse to push WAL segment 000000010000032B00000016 into archive. Instance parameters mismatch.Instance 'fis' should have SYSTEM_ID = 0 instead of 7016240137167361795

archive_command = '/usr/bin/pg_probackup-11 archive-push -B /BACKUP/postgres/POSTGRESQL/PG_PROBACKUP/11 --instance=fis --wal-file-name=%f --archive-host=m-pg-probackup --archive-user=postgres --remote-proto=ssh --overwrite'

[postgres@m-pg-probackup fis]$ pg_probackup show-config --instance=fis

Backup instance information

pgdata = /var/lib/pgsql/11/data
system-identifier = 7016240137167361795
xlog-seg-size = 16777216

Connection parameters

pgdatabase = postgres
pghost = m-fis-prod-db

Replica parameters

replica-timeout = 5min

Archive parameters

archive-timeout = 5min

Logging parameters

log-level-console = INFO
log-level-file = LOG
log-format-console = PLAIN
log-format-file = PLAIN
log-filename = backup_main_v11.log
log-directory = /home/postgres/LOGs
log-rotation-size = 0TB
log-rotation-age = 0d

Retention parameters

retention-redundancy = 1
retention-window = 7
wal-depth = 0

Compression parameters

compress-algorithm = zlib
compress-level = 1

Remote access parameters

remote-proto = ssh
remote-host = m-fis-prod-db
remote-user = postgres

Подскажите пожалуйста куда копать.

[fukanchik]

Здравствуйте, с машины постгреса есть доступ на машину бэкапа? Попробуйте зайти на постгрес под unix пользователем базы данных и сделать ssh на машину бэкапа wal файлов.

[BeeKeeper74]

Да, доступ по ssh ключам есть в обе стороны, и сами на себя.

По scp wal архивы копируются с хоста БД на хост pg_probackup.

[fukanchik]

Instance 'fis' should have SYSTEM_ID = 0

Это выглядит как какая-то ошибка доступа. Ведь просто бэкапы на тот же диск проходят?
system_id для инстанса берётся из pg_probackup.conf. Там наверняка не 0. pg_probackup archive-push который выполняется из-под постгреса может его прочитать?

[BeeKeeper74]

Да, full и delta проходят нормально.

Поискал файл

На хосте БД не находит такого
[root@m-fis-prod-db /]# find . -name pg_probackup.conf
[root@m-fis-prod-db /]#

На хосте pg_probackup находит
[root@m-pg-probackup /]# find . -name pg_probackup.conf
./BACKUP/postgres/POSTGRESQL/PG_PROBACKUP/11/backups/fis/pg_probackup.conf
[root@m-pg-probackup /]#
[root@m-pg-probackup /]# cat ./BACKUP/postgres/POSTGRESQL/PG_PROBACKUP/11/backups/fis/pg_probackup.conf | grep id
system-identifier = 7016240137167361795
[root@m-pg-probackup /]#

С хоста pg_probackup:
[postgres@m-pg-probackup fis]$ pg_probackup show-config --instance=fis
...
system-identifier = 7016240137167361795
...

С хоста БД postgres:
[postgres@m-fis-prod-db:~]$ /usr/bin/pg_probackup-11 show-config -B /BACKUP/postgres/POSTGRESQL/PG_PROBACKUP/11 --instance=fis --archive-host=m-pg-probackup --archive-user=postgres --remote-proto=ssh
....
system-identifier = 7016240137167361795
....