DOMANDA Strategie di backup

[jeyhw]

Ciao,

Volevo scambiare giusto qualche opinione e consiglio sulle migliori e più adeguate strategie e software di backup. Ovviamente mi rendo conto
che sono molto legate e relative alle varie esigenze. Per il momento sto solo sperimentando con i miei dati in un server ubuntu a casa, quindi niente di professionale o soluzione in ambito enterprise dove le cose possono essere radicalmente diverse.

Sto ora usando rsync lanciato da un script che a sua volta è schedulato per un avvio quotidiano tramite cronjob. Fa il backup automaticamente di una cartella su un HD esterno senza criptazione.
Ho provato anche altri software come urbackup e borgbackup. Sto ancora sperimentando su quale possa essere la soluzione più affidabile e semplice
per poi concentrami sull'ultimo passaggio cioè il backup online su servizi cloud con software tipo Duplicati o Rclone per completare
quello che viene definita la strategia 3-2-1 di backup dei dati.
Voi come vi state regolando e cosa state utilizzando?
Grazie

 

[r3dl4nce]

Tutti i miei server sono virtualizzati quindi uso le funzioni di backup del virtualizzatore, principalmente uso proxmox e ultimamente con il rilascio del proxmox backup server gestire i backup è banale, comunque tengo sempre almeno due copie, una su disco usb e una sul proxmox backup server.
In caso di pc Windows, uso veeam backup for windows

 

[icox]

Personalmente vado sul semplice, sulla mia macchina backup giornaliero incrementale su disco locale + upload su cloud. Tutti i backup sono ovviamente cifrati. Non ho particolari sistemi di duplicazione o ridondanza tipo raid.

Per i server mi affido agli snapshot periodici del provider (AWS nel mio caso) e per i dati piu' sensibili/importanti ho un'ulteriore procedura che fa un backup su altro provider. Quest'ultima e' probabilmente superflua ma per quanto costa oggi lo spazio di archiviazione preferisco avere un ulteriore copia.

Quale che sia la tua scelta, secondo me l'importante e' avere un processo totalmente automatizzato e verificare periodicamente di essere in grado di ripristinare/recuperare i dati dai backup.

 

[jeyhw]

Tutti i miei server sono virtualizzati quindi uso le funzioni di backup del virtualizzatore, principalmente uso proxmox e ultimamente con il rilascio del proxmox backup server gestire i backup è banale, comunque tengo sempre almeno due copie, una su disco usb e una sul proxmox backup server.
In caso di pc Windows, uso veeam backup for windows

Si ho pure io Proxmox, anche se lo utilizzo solo per fare pratica. In effetti è come dici tu; con Proxmox tutta la questione dei backup risulta molto semplificata (se poi utlizzi già il ZFS con mirror o raid qualsiasi diventa ancora più improbabile una perdita di dati); ancora meglio con PBS, anche se al momento non ho un pc in più (e HDD) su cui installarlo e provarlo.

Tu cosa salvi in Proxmox in particolare, fai il backup completo della macchina virtuale ad intervalli o snapshot ? Adesso non ho presente le caratteristiche sia dei backup effettuati da Proxmox stesso o di PBS, ma puoi configurarli in modo da cancellare backup vecchi di tot giorni o mesi? Si tratta di backup completi o incrementali?
Grazie
--- i due messaggi sono stati uniti ---

Personalmente vado sul semplice, sulla mia macchina backup giornaliero incrementale su disco locale + upload su cloud. Tutti i backup sono ovviamente cifrati. Non ho particolari sistemi di duplicazione o ridondanza tipo raid.

Si per lo più è meglio andare sul semplice, anche perché la questione fondamentale, a parte il backup stesso, è quello del ripristino dei dati.
Ho provate soluzioni più articolate come borgbackup con il repository sia in locale su un server nella mia LAN che online su borgbase. Mi ha impressionato come soluzione, ma ho avuto anche delle rogne, probabilmente per colpa mia, però quando è possibile meglio ridurre al minimo anche le possibilità di errore umano.
Per queste strategie di backup cerco sempre di simulare lo scenario peggiore, cioè quello dell'impossibilità di recuperare i dati in locale, e il servizio in cloud come ultima risorsa. In poche parole installando borgbackup con Vorta (una GUI per gestire più semplicemente le operazioni) su un'altra macchina e tentando di accedere al mio repository online creato con quella precedente, non ho avuto più la possibilità di accedere al repository (criptato ovviamente) con i miei dati su borgbase dovuto a un problema di autenticazione (o chissà cosa), nonostante avessi messo da parte e salvato le chiavi pubbliche e private e la password di sicurezza. Niente nulla da fare. Per fortuna era solo una prova. Però questo mi ha fatto pensare che è meglio avere tutto sotto controllo e adottare una soluzione quanto più semplice possibile, anche se sicura (la criptazione dei dati online è praticamente obbligatoria).
Per il backup di dati da una macchina server su un altro disco locale o esterno si può fare a meno della criptazione (così da escludere un altro punto di failure), già se vuoi fare il backup su un'altro pc nella stessa rete la criptazione potrebbe avere una certa rilevanza.

La soluzione più affidabile a mio parere è forse proprio quella indicata da r3dl4nce sopra con Proxmox, che quasi sicuramente diventerà la mia soluzione definitiva una volta riordinato il mio incasinato HOME LAB. Ho letto un articolo di un professionista del settore che indicava proprio gli snapshot in virtualizzatori come Proxmox (da salvare in ultima istanza anche online) idonei anche al salvataggio automatizzato dei database, infatti con i DB la questione si complica visto che bisognerebbe anche garantire la coerenza dei dati in caso di ripristino. L'autore dell'articolo afferma che con questa strategia non ha mai avuto un problema sia di recupero che di coerenza dei dati. Buono a sapersi.

 

[r3dl4nce]

Proxmox sui server e un pc anche recuperato / usato, non servono prestazioni eccezionali, con tanto storage per proxmox backup server. Puoi fare backup di tutte le VM Windows o Linux con data retention a tua scelta, periodici check di validità dei backup, il restore puoi farlo di una VM completa o dei singoli file. Siamo ai livelli di vsphere + veeam backup & replication ma a costo zero...

 

[jeyhw]

Proxmox sui server e un pc anche recuperato / usato, non servono prestazioni eccezionali, con tanto storage per proxmox backup server. Puoi fare backup di tutte le VM Windows o Linux con data retention a tua scelta, periodici check di validità dei backup, il restore puoi farlo di una VM completa o dei singoli file. Siamo ai livelli di vsphere + veeam backup & replication ma a costo zero...

Si, in effetti Proxmox sta prendendo il sopravvento come virtualizzatore. Pensare che fino a pochi anni fa, quando ho iniziato a metterci mano per la prima volta e lo segnalavo su alcuni forum come mia soluzione, alcuni storcevano il naso e mi proponevano invece VMware ESXi (ottimo anch'esso per carità). Sono contento di aver continuato con Proxmox. Non posso sperimentare tutto, già dedico a questo hobby più tempo del dovuto.

Per la questione dell'hardware recuperato/usato, hai ragione, e in effetti quasi tutto nel mio HOME LAB è recuperato.
Ci sono un paio di problemi però. L'hardware vecchio spesso consuma molta più corrente rispetto a quello nuovo e quindi non posso tenere accese più macchine 24/7. Con le bollette di oggi, immagino che anche nel settore professionale molti siano stati costretti a riconsiderare alcune soluzioni. Il secondo problema è che se vuoi farci girare ZFS l'hardware deve essere abbastanza affidabile, l'ho sperimentato a mie spese. Grazie per le informazioni.

 

[r3dl4nce]

PBS non richiede necessariamente ZFS, anzi, io generalmente metto i datastore di PBS su BTRFS dato che è più facilmente ampliabile, si può passare facilmente da un raid-1 a un raid-5 sempio, tanto è storage di backup, non è storage principale

 

[bigendian]

cose piu importanti in github/gitlab, + un saltuaria copia di una cartella "archivio" da un hd a un altro.

 

[Moffetta88]

Il 96% del mio lavoro è su repository in cloud (bitbucket/github) ma visto che sono mezzo paranoico (paura dell'effetto prodotti google più che altro) ho una copia esatta di questi repo su un mio mini server (il classico mini pc che consuma poco più ci una lampadina con 4GB di ram ed un misero quadcore e 32GB di eMMC + disco esterno) da circa 100€ ed una replica su una vps in Francia.

Il 3% sono magari documenti, e materiale di lavoro che viene caricato su one drive, ma visto che ho qualche rotella fuori posto, il drive viene backuppato sempre su quel mini server e viene tenuta traccia sempre dei file modificati ( il backup avviene di notte, se nella giornata sono stati toccati i file x y z, durante il backup viene creata una cartella con la data, il percorso completo ed i file prima della modifica ) e poi tutto viene replicato su un synology. Per le mail ho installato sempre su questo serverino un server imap, e tutte le mail di lavoro vengono copiate lì dentro. Per i db, oltre ad avere sempre una soluzione "cluster" (db principale su macchina del cliente o su nostra vps e poi una replica precisa su una macchina vps remota in Germania), ho uno script che tutte le notti fa un dump completo sempre sul mio serverino.

Il restante 1% è materiale personale che viene caricato sul synology o che non ha importanza se viene perso.

Una volta a settimana (la domenica sera solitamente) prendo tutto e sbatto su un ssd portatile e su un disco esterno da 3.5".

Ad oggi per perdere tutto (tocchiamoci le balle, legno, ferro, corni) dovrebbe saltarmi in aria la casa e un paio di vps sparse per l'eurapa fornite da aziende differenti, dei servizi monolitici come bitbucket o github

 

[jeyhw]

cose piu importanti in github/gitlab, + un saltuaria copia di una cartella "archivio" da un hd a un altro.

Ho un account su github, e ho scaricato piccoli lavori (container docker per lo più). Ma non l'ho mai usato per altro, in sostanza non so nemmeno come funziona esattamente e a cosa mi possa essere utile (non mi bastonate ). Non posso approfondire e occuparmi di tutto, come dicevo sopra, per me questo è solo un hobby. Poi magari se mi fate una breve descrizione di come lo usate voi e i vantaggi magari ci faccio un pensierino.

 

[jeyhw]

Il 96% del mio lavoro è su repository in cloud (bitbucket/github) ma visto che sono mezzo paranoico (paura dell'effetto prodotti google più che altro) ho una copia esatta di questi repo su un mio mini server (il classico mini pc che consuma poco più ci una lampadina con 4GB di ram ed un misero quadcore e 32GB di eMMC + disco esterno) da circa 100€ ed una replica su una vps in Francia.

Il 3% sono magari documenti, e materiale di lavoro che viene caricato su one drive, ma visto che ho qualche rotella fuori posto, il drive viene backuppato sempre su quel mini server e viene tenuta traccia sempre dei file modificati ( il backup avviene di notte, se nella giornata sono stati toccati i file x y z, durante il backup viene creata una cartella con la data, il percorso completo ed i file prima della modifica ) e poi tutto viene replicato su un synology. Per le mail ho installato sempre su questo serverino un server imap, e tutte le mail di lavoro vengono copiate lì dentro. Per i db, oltre ad avere sempre una soluzione "cluster" (db principale su macchina del cliente o su nostra vps e poi una replica precisa su una macchina vps remota in Germania), ho uno script che tutte le notti fa un dump completo sempre sul mio serverino.

Il restante 1% è materiale personale che viene caricato sul synology o che non ha importanza se viene perso.

Una volta a settimana (la domenica sera solitamente) prendo tutto e sbatto su un ssd portatile e su un disco esterno da 3.5".

Ad oggi per perdere tutto (tocchiamoci le balle, legno, ferro, corni) dovrebbe saltarmi in aria la casa e un paio di vps sparse per l'eurapa fornite da aziende differenti, dei servizi monolitici come bitbucket o github

Accidenti! Una cosa tipo "Paranoiac Mode" enabled

Io ho come server minimal un netbook, anch'esso con 4GB di Ram e un SSD. Ci ho collegato pure un HDD esterno e ci gira sorprendentemente tutto bene (tranne motionEye, un container che richiede tante risorse) , anche PLEX va bene, evitando il transcoding ovviamente, e tanto altro ancora. Se si rompe stavo già pensando di passare a un minipc se non addirittura a qualcosa di ancora più minimal tipo la zimaboard.

Ma su onedrive fai il sync o un backup netto ad intervalli, non ho capito.
Da parte mia ho scoperto RSNAPSHOT per fare copie di cartelle da una directory (sul server) al disco esterno. Molto funzionale e semplice da utilizzare anche se devo ancora approfondire il funzionamento ed adattarlo alle mie esigenze pricise. Da qui adesso sto studiano come passare ad una copia di queste cartelle (contenente dati e impostazioni di container docker più che altro) online. Vorrei provare duplicati o Rclone. Come dicevo, voglio trovare una soluzione che io possa gestire facilmente e capire cosa succede esattamente ad ogni passaggio, per poter nel caso intervenire più agevolmente se ci sono problemi. Non ho le competenze per poter gestire soluzioni troppo professionali.

Per la questione dei DB, la soluzione cluster mi ha sempre affascinato (anche perché porta molte problematiche come la coerenza dei dati). Dici che hai una replica precisa su un'altra macchina vps. Ma i db sono sincronizzati o si tratta di un normale backup? Non ho capito esattamente la soluzione.
--- i due messaggi sono stati uniti ---

PBS non richiede necessariamente ZFS, anzi, io generalmente metto i datastore di PBS su BTRFS dato che è più facilmente ampliabile, si può passare facilmente da un raid-1 a un raid-5 sempio, tanto è storage di backup, non è storage principale

A proposito. Non ho mai usato BTRFS. Devo informarmi su come funziona. In genere è più "leggero" di ZFS?
Grazie

 

[bigendian]

tempo fa piu che giithub/gitlab avevo usato alternative piu liberte, come codeberg e altri, ma non offrono gli stessi tools.

Forse fin ora il backup piu utile mi torna quello dei contatti telefonici, e degli impegni, ora su nextcloud.

Il backup viene sempre rimpianto il giorno dopo rispetto a quando servirebbe.

 

[jeyhw]

Il backup viene sempre rimpianto il giorno dopo rispetto a quando servirebbe.

Vero. Se ne sono resi conto alcuni miei amici a cui suggerivo sempre un backup dei loro dati (roba semplice eh!), ma quasi mi schernivano considerando la faccenda quasi una mia fissazione. E pensare che uno di loro ha anche un'attività con dati abbastanza importanti gestiti da un software su un pc.

 

[sp3ctrum]

Io sono meno paranoico, però faccio tripla copia ogni settimana.

La prima su disco secondario nel pc, la seconda su NAS, la terza su disco usb esterno.

Questo mi ha evitato la sbatta di reinstallare tutto e riconfigurare tutto un paio di volte, almeno in questo modo ho tutto pronto in caso di guasto.
Io sono maniacale nella configurazione di Windows, ho moltissime applicazioni, plugin, preferiti ecc... un formattone classico mi farebbe impazzire.

 

[r3dl4nce]

A proposito. Non ho mai usato BTRFS. Devo informarmi su come funziona. In genere è più "leggero" di ZFS?
Grazie

In parte sì, ma non è questione solamente di leggerezza. Sicuramente ZFS ha caratteristiche più avanzate di BTRFS e viene descritto come più robusto verso le varie problematiche che possono porsi, esempio su BTRFS ancora il raid5-6 viene sconsigliato, almeno per i metadata (infatti hanno introdotto raid1c3/raid1c4). Però per backup che magari nel tempo possono anche crescere e non si richiedono particolari prestazioni o robustezza (basta che sia funzionale quando serve) btrfs è più elastico, consente di aggiungere dischi a un volume multidisco ampliandone la capacità, consente di trasformare livelli di raid, ecc ecc, mentre ZFS consente di farlo ma in modo meno flessibile, esempio un vdev raid5 con 3 dischi non può essere espanso ampliando la capacità aggiungendo un 4° disco, deve essere per forza aggiunto un nuovo vdev, e anche i quel caso non vengono subito bilanciati i dati come si può fare con btrfs balance ecc ecc