DOMANDA Dubbio su pianificazione e coerenza backup giornalieri

[jeyhw]

Ciao,

Al momento effettuo i backup dei mie file che sono su un piccolo server, e anche quelli delle VM e LXC su Proxmox, sia su HDinterni che su un paio di HD esterni collegati in usb.
Possibile che a breve possa decidere di prendere un Synology e sbarazzarmi degli HD esterni. Mi domandavo però come mantenere la coerenza dei backup. Nel senso
che i backup dei file o delle VM che siano ci metteranno TOT tempo per eseguire il backup prima sui dischi interni e poi su quelli esterni. La faccenda si complica quando si vuole eseguire un backup anche in cloud che si abbia a disposizione un NAS puro o meno. Non ho mai affrontato la questione seriamente anche perché non ho mai avuto l'occasione di sperimentare, ma volevo chiedere a chi è più esperto di me e che affronta la problematica quotidianamente magari anche per lavoro (@r3dl4nce) come ci si regola in questi casi e quali strumenti si utilizzano.
In poche parole cosa si fa ad essere sicuri che il primo backup (quello su HDD interni diciamo) sia identico al secondo backup e poi nel caso al terzo in cloud, tralasciano la questione del numero di copie da mantenere (le ultime 5 per esempio ecc)?
Spero di essere stato chiaro.

Grazie

 

[r3dl4nce]

Un backup su hdd interni non è un backup, quindi non ha senso farlo. Il resto decade tutto. Ogni backup è indipendente e va su differenti storage esterni, che siano cloud, hdd usb, nas, ecc

 

[jeyhw]

Un backup su hdd interni non è un backup, quindi non ha senso farlo. Il resto decade tutto. Ogni backup è indipendente e va su differenti storage esterni, che siano cloud, hdd usb, nas, ecc

Non sono stato chiaro immaginavo, scusami. Provo a fare un esempio così facciamo prima. Le VM e i container su Proxmox girano su un HD.

Creo due Backup Job delle VM/LXC uno lo salva nello storage interno e l'altro sul disco esterno collegato in USB (per le mie reali esigenze sarebbe già grasso che cola, ma siamo qui anche per imparare soluzioni nuove e più adeguate e possibilmente anche come funziona in ambito professionale, fosse solo per curiosità).

Ho fatto caso che anche se sono stati lanciati nello stesso instante (manualmente/run now, ma credo che si comporti così anche con lo schedule che ho settato per le 21:00) i due backup job sono teminati ad orari diversi. Posso immaginare che ci possano essere problemi di coerenza tra i file di backup se le VM vengono fermate momentaneamente per il backup? Oppure se viene lanciato il terzo backup in cloud con Rclone ( come faccio gia con i file di poche cartelle sul serverino) e magari per problemi di rete in caso di NAS o qualche accidentaccio con l'usb il secondo backup non è terminato.
Tu dici che ogni backup è indipendente, ma può questo significare che i backup, anche per piccolezze non siano completamente identici? Oppure se viene lanciato un backup che è stato "schedulato" in cloud e magari il "secondo" backup non è andato a buon fine? Si avrà nel cloud una copia vecchia, credo.
Come ti regoli tu in questi casi?
Grazie

 

[r3dl4nce]

Creo due Backup Job delle VM/LXC uno lo salva nello storage interno

Questo non serve a niente, inutile farlo.

Ho fatto caso che anche se sono stati lanciati nello stesso instante (manualmente/run now, ma credo che si comporti così anche con lo schedule che ho settato per le 21:00) i due backup job sono teminati ad orari diversi.

Proxmox mette in lock una VM/LXC se ha dei job attivi, quindi se li metti allo stesso orario, prima termina un backup e poi parte l'altro. Leggi il log, c'è scritto.
In ogni caso devono andare entrambi su storage esterni

Posso immaginare che ci possano essere problemi di coerenza tra i file di backup se le VM vengono fermate momentaneamente per il backup?

Se il backup lo imposti come "snapshot" non vengono fermate, ma viene creato appunto uno snapshot dello stato del disco virtuale al momento del backup

Oppure se viene lanciato il terzo backup in cloud con Rclone ( come faccio gia con i file di poche cartelle sul serverino) e magari per problemi di rete in caso di NAS o qualche accidentaccio con l'usb il secondo backup non è terminato.

Il backup rclone è interno alla macchina ed è indipendente dai backup di proxmox

Tu dici che ogni backup è indipendente, ma può questo significare che i backup, anche per piccolezze non siano completamente identici?

Sequenza (semplificata) che fa Proxmox in caso di backup con tipo "snapshot":

• Parte il backup
• la VM/LXC è libera da job (backup, repliche, ecc)? Ovvero posso mettere un lock? Se non è libera, attendo
• Se è libera, metto lock
• Creo snapshot, quindi preparo per il backup la situazione del disco allo stato attuale
• Snapshot creato, la VM può continuare a lavorare (in realtà continua a lavorare anche mentre si crea lo snapshot, semplicemente le modifiche al disco sono in coda in memoria)
• Faccio il backup dello snapshot
• Tolgo il lock
• Termine backup

Tutto questo puoi leggerlo dal log di vzdump

Ti ho chiarificato un po' come funziona?

Come ti regoli tu in questi casi?

Generalmente impostato backup a orari sfalsati verificando circa quanto è la durata generica di un backup e lasciando abbastanza spazio, esempio se il backup della VM 100 ci mette 3 ore e faccio il backup su un NAS e un disco USB attaccato al server, metto il backup su disco USB (più veloce) come primo alle 22, poi il backup su NAS lo imposto alle 3 di notte, così sono decisamente sfalsati. In ogni caso ci pensa proxmox con il meccanismo del lock a evitare che si sovrappongano. Inoltre ormai cerco di usare sempre proxmox backup server che consente backup incrementali quindi i tempi si accorciano di molto, poi le verifiche sulla correttezza del backup le fa il il backup server senza gravare sul server principale

 

[jeyhw]

Questo non serve a niente, inutile farlo.

Si ok, un pochino meglio di niente però visto che la VM gira su un HD (o pool zfs) e il backup della stessa su altro HD o pool.
Non il massimo ma in attesa di un NAS va bene per le mie modeste esigenze.

Proxmox mette in lock una VM/LXC se ha dei job attivi, quindi se li metti allo stesso orario, prima termina un backup e poi parte l'altro. Leggi il log, c'è scritto.
In ogni caso devono andare entrambi su storage esterni

Quindi, se ho capito bene, nel caso del mio esempio sopra, i backup lanciati nello stesso istante (o quasi) dai due job uno su storage interno e l'altro sull'usb saranno necessariamente identici. Se è sicuro così, mi sta benone!!

Se il backup lo imposti come "snapshot" non vengono fermate, ma viene creato appunto uno snapshot dello stato del disco virtuale al momento del backup

e quindi al momento del lancio del due Backup job. Giusto?

Il backup rclone è interno alla macchina ed è indipendente dai backup di proxmox

Si lo so. Lo vorrei utilizzare per salvare tutta la cartella dump in cloud. Credo di doverlo però settare alla fine del possibile tempo necessario ai backup jobs. Considerando anche eventuali problemi.

....
Tutto questo puoi leggerlo dal log di vzdump

Ti ho chiarificato un po' come funziona?

Si, anche se alcune cose le devo sperimentare da me per capirle meglio

Generalmente impostato backup a orari sfalsati verificando circa quanto è la durata generica di un backup e lasciando abbastanza spazio, esempio se il backup della VM 100 ci mette 3 ore e faccio il backup su un NAS e un disco USB attaccato al server, metto il backup su disco USB (più veloce) come primo alle 22, poi il backup su NAS lo imposto alle 3 di notte...

ECCO! Bravo! Beccato in pieno l'oggetto di uno dei miei dubbi. Quindi un po' di calcoli in base alle caratteristiche dei dispositivi che si hanno sotto mano e la quantità del backup da fare bisogna comuqnue farli. Soprattutto poi , fai avviare i backup di notte quando verosimilmente non ci sono modifiche (o poche) nella VM, in modo da avere coerenza quasi sicura con i 2/3 backup della stessa VM.
A proposito quante copie mantieni in linea di massima? Cancelli i vecchi backup per numero o data?
Per quanto riguarda PBS, si stavo valutando di installarlo proprio per la comodità di gestione dei backup e i suoi vantaggi.
Ho trovato questo video in giro:

PBS

 

[jeyhw]

Niente da aggiungere per completare il discorso? Grazie

 

[r3dl4nce]

Si ok, un pochino meglio di niente però visto che la VM gira su un HD (o pool zfs) e il backup della stessa su altro HD o pool.
Non il massimo ma in attesa di un NAS va bene per le mie modeste esigenze.

Ma un disco esterno USB non ce l'hai? È sicuramente più sicuro che farlo interno al server. Così il disco USB lo scolleghi quando hai fatti i backup

Quindi, se ho capito bene, nel caso del mio esempio sopra, i backup lanciati nello stesso istante (o quasi) dai due job uno su storage interno e l'altro sull'usb saranno necessariamente identici. Se è sicuro così, mi sta benone!!

Non è detto. Mi sembra che la sequenza sia chiara.
Parte backup-1 facendo lo snapshot. Ci mette 3 ore. Se nel frattempo in queste 3 ore ci sono variazioni nella VM (file modificati, aggiornamenti, log scritti, ecc) il backup-2 sarà diverso perché verrà fatto un nuovo snapshot all'avvio del backup-2
Io infatti pianifico i backup quando le VM hanno utilizzo quasi nullo, generalmente la notte

e quindi al momento del lancio del due Backup job. Giusto?

Non possono essere attivi due backup job in contemporanea, quando la VM ha un lock non si attivano altre funzionalità, non solo backup ma anche repliche, migrazioni, ampliamento storage, riconfigurazioni, ecc.
Ogni backup fa uno snapshot prima di partire, ma sono indipendenti l'uno dall'altro

Si lo so. Lo vorrei utilizzare per salvare tutta la cartella dump in cloud. Credo di doverlo però settare alla fine del possibile tempo necessario ai backup jobs. Considerando anche eventuali problemi.

Puoi tranquillamente usare backup della VM e un software di backup eseguito nella VM in contemporanea, non si danno noia.

A proposito quante copie mantieni in linea di massima? Cancelli i vecchi backup per numero o data?

Tutto dipende da quanto spazio c'è nello storage di backup, non è valutabile in generale, ma caso per caso

Per quanto riguarda PBS, si stavo valutando di installarlo proprio per la comodità di gestione dei backup e i suoi vantaggi.

Non ho idea del video nè mi interessa di guardarlo, comunque è molto banale, installi PBS a sè o su un server proxmox, imposti il datastore (una cartella) dove mettere i backup, pianifichi prune (rotazione) garbage collection (cancellazione) e veriify (controllo backuo), crei credenziali di accesso e a quel punto lo imposti come uno storage in proxmox, c'è proprio la configurazione negli storage con tipo proxmox backup server, così diventa un target per i backup della VM/CT

 

[jeyhw]

Ma un disco esterno USB non ce l'hai? È sicuramente più sicuro che farlo interno al server. Così il disco USB lo scolleghi quando hai fatti i backup

Si certo. Ho spiegato sopra. Il primo JOB effettua una copia nello storage interno su HD diverso rispetto a dove girano le VM. Il secondo JOB effettua il backup sull'HD esterno USB. In attesa di una NAS per il momento mi sta bene il primo metodo di backup

Non è detto. Mi sembra che la sequenza sia chiara.
Parte backup-1 facendo lo snapshot. Ci mette 3 ore. Se nel frattempo in queste 3 ore ci sono variazioni nella VM (file modificati, aggiornamenti, log scritti, ecc) il backup-2 sarà diverso perché verrà fatto un nuovo snapshot all'avvio del backup-2
Io infatti pianifico i backup quando le VM hanno utilizzo quasi nullo, generalmente la notte

Ah ecco! Nel mio caso fa poco e per nulla differenza, in ambienti complessi è una cosa di cui tenere conto

Non possono essere attivi due backup job in contemporanea, quando la VM ha un lock non si attivano altre funzionalità, non solo backup ma anche repliche, migrazioni, ampliamento storage, riconfigurazioni, ecc.
Ogni backup fa uno snapshot prima di partire, ma sono indipendenti l'uno dall'altro

ok, bene

Puoi tranquillamente usare backup della VM e un software di backup eseguito nella VM in contemporanea, non si danno noia.

Software di backup eseguito nella VM? Quale per esempio? Io intendo comunque che faccia una copia del backup per spedirla in cloud, perciò ho menzionato la cartella dump nel file system di proxmox stesso. Se c'è un altro metodo più pratico sarei felice di sperimentarlo

Tutto dipende da quanto spazio c'è nello storage di backup, non è valutabile in generale, ma caso per caso

Mi sembra giusto

Non ho idea del video nè mi interessa di guardarlo, comunque è molto banale, installi PBS a sè o su un server proxmox, imposti il datastore (una cartella) dove mettere i backup, pianifichi prune (rotazione) garbage collection (cancellazione) e veriify (controllo backuo), crei credenziali di accesso e a quel punto lo imposti come uno storage in proxmox, c'è proprio la configurazione negli storage con tipo proxmox backup server, così diventa un target per i backup della VM/CT

Si pare che faccia proprio una cosa del genere nel video. Tu usi PBS nelle tue installazioni o è spesso inutile?

Grazie per tutte le rispeoste

 

[r3dl4nce]

Software di backup eseguito nella VM? Quale per esempio?

Hai scritto te menzionando rclone...

Si pare che faccia proprio una cosa del genere nel video. Tu usi PBS nelle tue installazioni o è spesso inutile?

Sto sempre di più cercando di recuperare vecchie macchine anche di 5-6 anni con un po' di dischi hdd meccanici dove mettere PBS e spostare tutti i backup lì.
Backup incrementale, deduplicato, possibilità di ripristino granulare, ecc. PBS è una bomba

 

[jeyhw]

Hai scritto te menzionando rclone...

Pensavo ti riferissi a qualcos'altro. Ok rclone già lo uso

Sto sempre di più cercando di recuperare vecchie macchine anche di 5-6 anni con un po' di dischi hdd meccanici dove mettere PBS e spostare tutti i backup lì.
Backup incrementale, deduplicato, possibilità di ripristino granulare, ecc. PBS è una bomba

Mi sa allora che mi oriento decisamente su quello allora. Grazie ancora