DOMANDA Raid 4 tra hdd + ssd(disco di parità)

[Fogato]

Premetto che non ho esperienza in campo RAID. Volevo chiedere se è tecnicamente possibile utilizzare un RAID 4 con tutti hdd tranne un ssd che viene utilizzato per memorizzare i valori di parità. Ho letto che il disco di parità è di solito il collo di bottiglia del sistema ( in scrittura ), così pensavo di utilizzare un più veloce ssd per superare almeno in parte il problema. Nel caso funzionasse, l'ssd deve essere delle stesse dimensioni degli altri hdd oppure i valori di parità memorizzati nel disco di parità sono più piccoli per cui c'è una proporzione da seguire ( es ogni 10gb sugli hdd in raid i valori di parità occupano 1gb ).
Grazie.

 

[51133luca]

Come mai vuoi fare un raid 4 ? Ormai è abbandonato quel raid. Infatti in tutte le schede raid server non viene nemmeno menzionato.
Direi di fare un raid 5 così risolvi il problema del disco di parità he fa da collo di bottiglia.

 

[Fogato]

Come mai vuoi fare un raid 4 ? Ormai è abbandonato quel raid. Infatti in tutte le schede raid server non viene nemmeno menzionato.
Direi di fare un raid 5 così risolvi il problema del disco di parità he fa da collo di bottiglia.

Ma in un raid 5 se i valori di parità vengono distribuiti sugli hdd non rallentano di più la scrittura? O forse non lo rallentano perché anche i valori di parità sono scritti in parallelo?

 

[51133luca]

Esattamente nel Raid 4 le parità sono scritte in un unico disco e questo fa da collo di bottiglia in quanto se devo andare a leggere più di una parità ovviamente la lettura scrittura è più lenta. Il raid 5 ha risolto questo problema in quanto le parità sono distribuite e quindi se devo fare una lettura/scrittura simultanea non ho il collo di bottiglia dato dall'unico hdd.
Infatti ad oggi il raid 5 è il più usato nei server.
Comunque per fare questi tipi di raid è consigliato usare una scheda raid.

 

[Fogato]

Per la scelta della scheda raid va bene una di quelle consigliate da amazon? perchè la mia intenzione è quella di fare un raid con 3 hdd da 3gb e magari utilizzare l'ssd come "ram supplementare" ( se non sbaglio si può impostare un hdd o ssd per caching e velocizzare le applicazioni).

 

[r3dl4nce]

Prima di tutto chiediti: perché vuoi fare RAID? Sai perché si usa il RAID? I dati che salverai sui dischi in RAID sono importanti? Ne hai un backup esterno?
Dalle risposte a queste domande si può capire se il raid ti serve o meno.
Poi, non mixare mai dischi spinner e ssd a meno di sistemi particolari (esempio ZFS con storage su spinner e ssd a fare da cache ARC2, anche se conviene sempre incrementare la RAM e usare gli ssd come pool a parte).

 

[Fogato]

Mi serve un raid per lavorare su dati di genomica e simulazioni di dinamica molecolare. I software che uso, come Gromacs per dirne uno, producono file di 30 Gb o più per una singola simulazione e mi trovo facilmente a corto di memoria, tanto più ho bisogno della ridondanza del raid per prevenire la perdita di dati che hanno richiesto settimane di calcolo.
La mia intenzione era di crearmi una mini postazione domestica da utilizzare almeno per i calcoli preliminari in modo da non dover dipendere al 100% dai server universitari.
L' ideale per me sarebbe di sfruttare al massimo il parallelismo per velocizzare il tutto e risparmiare qualche soldo, poi magari mi faccio seghe mentali da solo. Leggendo in giro ci sono diverse tecnologie che sembrano allettanti, come utilizzare un SSD per ampliare la RAM ( leggevo di SSD NVMe che usano le porte PCIe x4 per questo scopo ) , accelerazione GPU ed i RAID.
Durante la mia tesi ho avuto piu volte problemi di risorse, la ram per gran parte occupata mi impediva di utilizzare decentemente il pc, gli hdd erano sempre pieni oppure lenti perchè il programma stava scrivendo gli output, perdita di dati perchè l'hdd di archiviazione era vecchio, ecc...
Il mio pc attuale ha un i7 4700hq con 8 thread, vedevo sul sito dell' amd che per 300 euro ci sono threadripper che hanno 24 thread, per me vorrebbe dire poter lanciare 3 simulazioni in contemporanea, farei il triplo del lavoro però anche lì se tutti scrivono sulla memoria in contemporanea immagino si impalli di brutto.

 

[51133luca]

Beh in questo calcolo direi che un raid 5 o peggio un raid 4 non è consigliato (Perché precisiamo che avere ottime performance in raid bisogna avere hdd non sata ma SAS con almeno 10k giri).
Poi peggio ancora se è fatto con quello software integrato nella scheda madre.
Direi che se devi fare calcoli pesanti di quel genere, serve un ssd molto veloce (quindi nvme).
Poi ho trovato che Gromacs sfrutta l'accelerazione grafica CUDA in maniera pesante. Quindi direi di puntare su delle nvidia quadro (e sono soldi che partono qua).
Un i7 4700hq è da portatile sicuramente va bene ma se cerchi prestazioni bisogna guardare ai pc fissi. E sicuramente un threadripper da 12 core e 24 thread costa un pochino di più di 300 euro.
In quel caso però ho paura che intel sia meglio ottimizzato su linux.
Però la domanda è.. ha senso investire 2000/3000 euro (perché quando vai su piattaforme enterprise, con xeon o Threadripper, quadro, ram ECC, NVME ecc. non spendi 2 euro).

 

[Fogato]

Nel mio caso si ne varrebbe la pena, io sono proprio a livello professionale e lavoro tramite l'università con aziende di biotechnologie agro industriali. Certo sono soldi ma finchè sono ben spesi a livello di prestazioni e mi portano un vantaggio professionale è uno scambio che accetto.
Magari non vado per i top gamma dell'enterprise dove un processore costa 2200 euro, farei un passo alla volta. Di certo se nel mondo dell' IT tutti si orientano al parallelismo e storage di nuova generazione non posso restare fermo a tecnologie obsolete.

 

[51133luca]

Perfetto.
Allora ti butto un suggerimento ;) perché invece di spendere tanti soldi su hardware da comprare... non lo “noleggi” l’hardware ? Cioè perché non prendersi una macchina per dire su Amazon ews dedicata al calcolo computazionale ? In pratica paghi per avere delle risorse hardware senza i pensieri degli aggiornamenti o sostituzione pezzi nel caso di guasti ;)
Se hai una buona connessione internet, alla fine sfrutti un server come quello dell’Università ;) solo che hai accesso 24/24 da qualisiasi luogo (internet permettendo)

 

[Fogato]

Probabilmente è il compromesso migliore (altrimenti non li noleggerebbero). È che all'inizio pensavo bastasse qualche accorgimento per avere un buon upgrade mentre invece bisogna proprio fare un salto di fascia dal domestico all'enterprise :sisi:
Da quello che ho capito alla fine su un pc basta che ram e hdd/ssd siano decenti da non avere rallentamenti per l'uso giornaliero.

 

[HSH]

Valuterei un nas a doppio disco dove salvare i dati, li ha senso avere un raid 1 così per perdere i dati ti si dovrebbero rompere sia quelli del pc che quelli del nas

Inviato da ASUS_Z00AD tramite App ufficiale di Tom\'s Hardware Italia Forum

 

[51133luca]

Il nas servirebbe per salvare i dati già elaborati. Penso che a lui serva il raid per una questione di velocità e sicurezza nel caso di perdita di un disco durante un elaborazione dati (che alcune possono portare via ore da quello che so).
Quindi nel caso direi che sicuramente se hai già un pc fisso puoi potenziarlo, o nel caso assemblare un pc per le elaborazioni "meno importanti" e per l'utilizzo di tutti i giorni.
Per il resto appunto valuterei l'utilizzo di server di calcolo in quanto come ho letto si consigliano schede del calibro delle P100 (roba da 4-5 k euro) e processori xeon serie E5 su doppio socket (roba che costa tantissimo, consuma tantissimo). Valuterei effettivamente come più volte scritte l'utilizzo di servizi tipo Amazon ews così da eliminare tutti costi di acquisto macchina/corrente/manutenzione. e nel caso ti serva più potenza cambi risorse in poco tempo senza comprare dell'hardware.

 

[Fogato]

Valuterei un nas a doppio disco dove salvare i dati, li ha senso avere un raid 1 così per perdere i dati ti si dovrebbero rompere sia quelli del pc che quelli del nas

Inviato da ASUS_Z00AD tramite App ufficiale di Tom\'s Hardware Italia Forum

Sicuramente il mirroring previene la perdita di dati ma la capacità dimezzata mi scoccia abbastanza, speravo che un raid 5 mi desse la stessa affidabilità di un raid 1 ma non avendo esperienza a riguardo sono un po' perso... Ad esempio non ho nemmeno idea se i valori di parità occupino meno o uguale rispetto ai dati a cui si riferiscono, come se la copia mirrored fosse frammentata in giro per il raid, quindi la differenza sarebbe tra avere una copia in blocco o una sparsa.

Il nas servirebbe per salvare i dati già elaborati. Penso che a lui serva il raid per una questione di velocità e sicurezza nel caso di perdita di un disco durante un elaborazione dati (che alcune possono portare via ore da quello che so).
Quindi nel caso direi che sicuramente se hai già un pc fisso puoi potenziarlo, o nel caso assemblare un pc per le elaborazioni "meno importanti" e per l'utilizzo di tutti i giorni.
Per il resto appunto valuterei l'utilizzo di server di calcolo in quanto come ho letto si consigliano schede del calibro delle P100 (roba da 4-5 k euro) e processori xeon serie E5 su doppio socket (roba che costa tantissimo, consuma tantissimo). Valuterei effettivamente come più volte scritte l'utilizzo di servizi tipo Amazon ews così da eliminare tutti costi di acquisto macchina/corrente/manutenzione. e nel caso ti serva più potenza cambi risorse in poco tempo senza comprare dell'hardware.

La mia idea era di comprare un po' di hdd da 3-4 TB per arrivare a fare un raid da 12TB e utilizzare il mio (in uso) ssd samsung 840 evo da 250gb per caching così da velocizzare ulteriormente il raid ( penso si possa fare caching fino a 64gb visto che il raid viene visto come un unico hdd ); questo perchè puntavo a comprare un buon processore ad almeno 16 thread e sfruttarlo bene per fare almeno 2 (meglio se sono 3) calcoli in contemporanea, mi sarebbe scocciato avere un processore ottimo ed avere un collo di bottiglia in scrittura perchè gromacs e simili scrivono sui file dell' hdd ( tanto più sarebbe veloce in scrittura se riuscissi ad avere un accelerazione GPU ).

Ora da questa discussione ho capito che puntare ad una macchina enterprise sarebbe una spesa folle, meglio noleggiarla. Però allora mi piacerebbe avere una macchina per calcoli meno importanti come hai scritto @51133luca.
Fare una cosa tipo Raid, ssd caching, un processore da 16 thread, un paio di schede video buone in sli per accelerazione GPU sarebbe una bella macchina. Certo un hdd SAS sarebbe meglio ma costerebbe di piu.

Il NAS ci sta sempre bene e probabilmente lo metterò a prescindere.

 

[51133luca]

Il problema è che non so quali schede madri siano compatibili con un raid 5 con cash su ssd (già è difficile trovare schede madri compatibili con raid 5. Attualmente quelle che conosco sono su chipset x299 quindi saresti vincolato ad intel).
Purtroppo non é una cosa comune l'sed esterno come cash. so che schede raid della adaptec lo permettono ma non ho mai avuto modo di farlo. Ci sarebbe ZFS che permette di fare raid con ssd cash di tipo software. Ma andiamo in campi che non mi competono.
Comunque penso che un raid 5 sia più che sufficiente. Anche perché nelle macchine pensate per fare calcoli pesanti non si usa un raid 5 con ssd come cash. (le schede raid invece hanno la cash integrata che di norma varia da 1 a 4 gb e batteria tampone).