Режим резервного копирования

[surdba]

Просьба рассмотреть возможность реализации нового режима резервного копирования. Назовем его условно wal only.
Цель — получение возможности PITR, используя только pg_probackup безо всяких дополнительных/сторонних инструментов типа rsync
Суть в следующем:
В настоящий момент резервные копии создаются либо в режиме непрерывного архивирования wal-файлов, либо в режиме stream.
В вырожденном втором случае (т. е. Без организации архивирования wal в промежутках между бэкапами какими нибудь сторонними средствами) PITR на произвольный момент времени между резервными копиями невозможен.
В первом случае мы имеем возможность PITR, однако в некоторых, не таких уж и редких вариантах, также имеем существенное ограничение — очевидно, что каталог для архивных wal должен иметь очень большой размер (на самом деле, конечно, зависит от активности,но берем плохой вариант). Большие хранилища зачастую монтируются посредством сетевых интерфейсов. Таким образом, в случае проблем с доступность сетевого ресурса и, допустим, n-узлового кластера (реплики в режиме потоковой репликации+ слоты), количество файлов в каталоге оперативных wal будет очень быстро расти, что, в зависимости от конкретной реализации может привести к различным проблемам, вплоть до остановки экземпляра.
Поэтому, для таких конфигураций целесообразно выделить для архивных журналов локально монтируемый раздел относительно большого размера на медленных носителях и периодически сбрасывать с него накопившиеся wal в место длительного хранения, а после выполнения рк и внесения информации о скопированных архивных wal в каталог резервных копий чистить его во избежании переполнения. ← вот именно функционал, описанный в данном абзаце и предлагается реализовать. Т.е. имея резервные копии режима stream + архивые копии wal обеспечить возможность восстановления на момент времени, не прибегая при этом к режиму непрерывного архивирования wal в каталог резервных копий и используя только возможности утилиты pg_probackup. Кроме того, зеркально появится возможность реализовать режим restore wal only, что так же бывает зачастую необходимо.

[gsmolk]

Добрый день!
Что подразумевается под хранилищем длительного хранения?

[surdba]

дисковая библиотека , например. Суть - хранилище бэкапов. Смысл - pg_wal будет иметь ограниченный размер (т.е. быстрый ls, быстрое восстановление). Архив wal какое-то время хранится локально не сервере ( т.е. отсуствие риска сбоя archive_command при работе по сети). Их этого каталога pg_probackup при резервном копирование умеет забирать архивные журналы, в том числе и в выделенном только для копирования этих журналов режиме. сб, 18 июн. 2022 г. в 20:56, gsmol ***@***.***>:

…

Добрый день! Что подразумевается под хранилищем длительного хранения? — Reply to this email directly, view it on GitHub <#470 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AXRIU3QHFHFLCF45YDW2DTLVPXWUHANCNFSM5NFYO2OQ> . You are receiving this because you authored the thread.Message ID: ***@***.***>

[surdba]

вдогонку - промежуточная директория архивных журналов должен иметь возможность находиться вне каталога pg_probackup сб, 18 июн. 2022 г. в 20:56, gsmol ***@***.***>:

…

Добрый день! Что подразумевается под хранилищем длительного хранения? — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>