UFFICIALE L'OT di Linux e altri OS

[LitterallyWho]

Non teorica, con fatti e test in produzione. Facebook di sicuro non avrà il carico di lavoro del tizio X sul desktop, ma gli SSD sono consumer e quindi simili.

Post unito automaticamente: 15 Ottobre 2020

Controlla che sia installato sddm-theme-breeze, plasma-workspace e kwin-*

Beh, ma è proprio il carico di lavoro che fa la differenza, ssd consumer o meno.

 

[EmanueleC]

Beh, ma è proprio il carico di lavoro che fa la differenza, ssd consumer o meno.

Sicuramente, ma quello che voglio dire è che a parità di carico dura di più un disco con compressione abilitata ("reduces write amplification -> increases flash lifespan"), che poi il carico IO di lettura/scrittura che ha un server facebook, un utente desktop li raggiunge dopo X tempo, cambia poco.

 

[LitterallyWho]

Sicuramente, ma quello che voglio dire è che a parità di carico dura di più un disco con compressione abilitata ("reduces write amplification -> increases flash lifespan"), che poi il carico IO di lettura/scrittura che ha un server facebook, un utente desktop li raggiunge dopo X tempo, cambia poco.

Ma probabilmente un utentr desktop nemmeno in due vite raggiunge il carico di lavoro di Facebook di un anno lol. Aspetto di vedete un confrontro vero e proprio comunque

 

[EmanueleC]

Ma probabilmente un utentr desktop nemmeno in due vite raggiunge il carico di lavoro di Facebook di un anno lol. Aspetto di vedete un confrontro vero e proprio comunque

Non importa, la durata dell'SSD è sempre quella, se Facebook lo raggiunge in due anni, un utente desktop lo raggiunge in 4...

no compress (sono numeri a caso per fare un esempio):
durata di vita dell'SSD per facebook: 1 anno
durata di vita dell'SSD per l'utente desktop medio: 3 anni

compress (sempre numeri a caso):
durata di vita dell'SSD per facebook: 2 anni
durata di vita dell'SSD per l'utente desktop medio: 6 anni
Queste domande del confronto di un utente medio desktop sono state fatte, la risposta è stata che anche se non hanno il carico dei server facebook, sono sempre SSD consumer che usa l'utente desktop, quindi con i limiti di scrittura uguali, quindi il test case è valido anche per l'utente desktop. Anzi, a volte l'utente desktop compra SSD di qualità superiore.

After that experiment worked out so well, the infrastructure team switched fully to Btrfs; the entire build system now uses it. It turns out that there was another strong reason to switch to Btrfs: its support for on-disk compression. The point here is not just saving storage space, but also extending its lifetime. Facebook spends a lot of money on flash storage — evidently inexpensive, low-quality flash storage at that. The company would like this storage to last as long as possible, which implies minimizing the number of write cycles performed. Source code tends to compress well, so compression reduces the number of blocks written considerably, slowing the process of wearing out the storage devices.

Poi oltre alla durata, hai anche maggiori performance nella maggior parte dei casi e risparmio spazio, quindi hai 3 motivi per usarlo.

Post unito automaticamente: 17 Ottobre 2020

Aspetto di vedete un confrontro vero e proprio comunque

Di cosa?

 

[LitterallyWho]

Non importa, la durata dell'SSD è sempre quella, se Facebook lo raggiunge in due anni, un utente desktop lo raggiunge in 4...

no compress (sono numeri a caso per fare un esempio):
durata di vita dell'SSD per facebook: 1 anno
durata di vita dell'SSD per l'utente desktop medio: 3 anni

compress (sempre numeri a caso):
durata di vita dell'SSD per facebook: 2 anni
durata di vita dell'SSD per l'utente desktop medio: 6 anni
Queste domande del confronto di un utente medio desktop sono state fatte, la risposta è stata che anche se non hanno il carico dei server facebook, sono sempre SSD consumer che usa l'utente desktop, quindi con i limiti di scrittura uguali, quindi il test case è valido anche per l'utente desktop. Anzi, a volte l'utente desktop compra SSD di qualità superiore.



Poi oltre alla durata, hai anche maggiori performance nella maggior parte dei casi e risparmio spazio, quindi hai 3 motivi per usarlo.

Post unito automaticamente: 17 Ottobre 2020

Di cosa?

Ma Facebook e un normale utente desktop sempre casi distanti anni luce sono per stress sui dischi.
Un confronto fra la durata di diversi ssd con determinate opzioni attive di btrfs. Magari già c'è e non ne sono a conoscenza eh.
Quel che voglio dire è che, almeno per quanto riguarda la durata, i benefici saranno minimi fra un'opzione e l'altra.

Poi oltre alla durata, hai anche maggiori performance nella maggior parte dei casi e risparmio spazio, quindi hai 3 motivi per usarlo.

Attività di compressione/decompressione hanno comunque un costo in termini di risorse ed un utente penso si chieda se ne valga la pena o meno
Ripeto: per me i vantaggi per un utente desktop son pochi. Forse, se ci sono, si vedono quando una persona ha davvero tanti file(ma proprio tanti tanti). Poi comunque io uso btrfs principalmente per gli snapshot e perché si dovrebbe comportar bene su ssd.

 

[rebellion]

'sera gentaccia! allora riassumendo queste ultime settimane:

python + kivymd = main.py: le gioie di un nuovo mondo tutto da scoprire!?
main.py + buildozer = 'pain.py': tutto un nuovo campionario di bestemmie in 4 religioni...⛈
'pain.py' + tanta pazienza = .apk perfettamente funzionante!!?

 

[EmanueleC]

Ma Facebook e un normale utente desktop sempre casi distanti anni luce sono per stress sui dischi.
Un confronto fra la durata di diversi ssd con determinate opzioni attive di btrfs. Magari già c'è e non ne sono a conoscenza eh.
Quel che voglio dire è che, almeno per quanto riguarda la durata, i benefici saranno minimi fra un'opzione e l'altra.

Attività di compressione/decompressione hanno comunque un costo in termini di risorse ed un utente penso si chieda se ne valga la pena o meno
Ripeto: per me i vantaggi per un utente desktop son pochi. Forse, se ci sono, si vedono quando una persona ha davvero tanti file(ma proprio tanti tanti). Poi comunque io uso btrfs principalmente per gli snapshot e perché si dovrebbe comportar bene su ssd.

Già ci sono molti confronti e bench tra compress e nocompress a vantaggio di compress nella maggior parte dei casi, non in tutti carichi di lavoro, ovvio. Il vantaggio di zstd è che ha un costo minimo sulla CPU, infatti è usato quasi ovunque.
Ripeto, i benefici ci sono, in base ai dati se sono comprimibili la differenza è molta, in costi di spazio e risorse.
Ed è il motivo del perché Fedora abiliterà compress zstd sulla radice dalla 34 in poi, ed è il motivo del perché lo usa Facebook.
l'SSD ha un limite di durata in scrittura, no? Ecco, un utente con la compressione abilitata aumenterà tale durata, che sia l'utente desktop che usa il PC una volta a settimana, Facebook o chiunque.
Comunque io uso ZSTD anche per risparmiare spazio, ma principalmente per le performance, tempo fa nemmeno sapevo che la compressione aumentasse la durata dell'SSD, l'ho scoperto con la discussione sulla mailing list di fedora al passaggio su Btrfs di default, tra i proprietari di quella proposta ci sono sviluppatori Facebook, tra cui uno che è anche lo sviluppatore di Btrfs.

 

[LitterallyWho]

Già ci sono molti confronti e bench tra compress e nocompress a vantaggio di compress nella maggior parte dei casi, non in tutti carichi di lavoro, ovvio. Il vantaggio di zstd è che ha un costo minimo sulla CPU, infatti è usato quasi ovunque.
Ripeto, i benefici ci sono, in base ai dati se sono comprimibili la differenza è molta, in costi di spazio e risorse.
Ed è il motivo del perché Fedora abiliterà compress zstd sulla radice dalla 34 in poi, ed è il motivo del perché lo usa Facebook.
l'SSD ha un limite di durata in scrittura, no? Ecco, un utente con la compressione abilitata aumenterà tale durata, che sia l'utente desktop che usa il PC una volta a settimana, Facebook o chiunque.
Comunque io uso ZSTD anche per risparmiare spazio, ma principalmente per le performance, tempo fa nemmeno sapevo che la compressione aumentasse la durata dell'SSD, l'ho scoperto con la discussione sulla mailing list di fedora al passaggio su Btrfs di default, tra i proprietari di quella proposta ci sono sviluppatori Facebook, tra cui uno che è anche lo sviluppatore di Btrfs.

Beh, passa questi bench, ma credo che stiamo sempre parlando di benchmark e di vantaggi teorici (sempre parlando di desktop e di utenti "comuni)...
Se vedo qualcuno che effetttivamente mi mostra, che ne so, 10 ssd di cui 5 con btrfs che durano 10 anni(con le ottimizzazioni che dici te) e 5 con ottimizzazioni diverse che ne durano 9-8, allora mi ricrederò.

 

[Fenix27]

'sera gentaccia! allora riassumendo queste ultime settimane:

python + kivymd = main.py: le gioie di un nuovo mondo tutto da scoprire!?
main.py + buildozer = 'pain.py': tutto un nuovo campionario di bestemmie in 4 religioni...⛈
'pain.py' + tanta pazienza = .apk perfettamente funzionante!!?

Visto che non lo so: che cosa stai sviluppando ?

 

[EmanueleC]

Beh, passa questi bench, ma credo che stiamo sempre parlando di benchmark e di vantaggi teorici (sempre parlando di desktop e di utenti "comuni)...
Se vedo qualcuno che effetttivamente mi mostra, che ne so, 10 ssd di cui 5 con btrfs che durano 10 anni(con le ottimizzazioni che dici te) e 5 con ottimizzazioni diverse che ne durano 9-8, allora mi ricrederò.

Benchmark ne ho linkato due qualche post fa...

Se vedo qualcuno che effetttivamente mi mostra, che ne so, 10 ssd di cui 5 con btrfs che durano 10 anni(con le ottimizzazioni che dici te)

Lo hanno già riscontrato in produzione su facebook. Però continui a ignorarlo. Ok, mi sembra una discussione che non porta a nulla.
Poi scusa eh, se su 100GB di dati, ne scrivi effettivi 50/40GB, non stai risparmiando cicli di scrittura sull'SSD/nvme o quel che è?

 

[LitterallyWho]

Benchmark ne ho linkato due qualche post fa...

Lo hanno già riscontrato in produzione su facebook. Però continui a ignorarlo. Ok, mi sembra una discussione che non porta a nulla.
Poi scusa eh, se su 100GB di dati, ne scrivi effettivi 50/40GB, non stai risparmiando cicli di scrittura sull'SSD/nvme o quel che è?

Facebook è facebook mentre un utente normale è un utente normale.
Ah, quelli li avevo visti anche per conto mio e non capisco in che modo dovrebbero farmi cambiare idea

 

[EmanueleC]

Facebook è facebook mentre un utente normale è un utente normale.
Ah, quelli li avevo visti anche per conto mio e non capisco in che modo dovrebbero farmi cambiare idea

Serio? che vuol dire? btrfs + compress zstd livello 1 è sempre quello, gli ssd sono consumer come qualsiasi utente desktop...
Qui trovi (purtroppo è vecchio, credo cambi poco) compress vs nocompress: https://www.phoronix.com/scan.php?page=article&item=btrfs_lzo_2638&num=2

Più recente ma solo tra i vari algoritmi di compressione: https://www.phoronix.com/scan.php?page=article&item=btrfs-zstd-compress&num=2

 

[LitterallyWho]

Serio? che vuol dire? btrfs + compress zstd livello 1 è sempre quello, gli ssd sono consumer come qualsiasi utente desktop...
Qui trovi (purtroppo è vecchio, credo cambi poco) compress vs nocompress: https://www.phoronix.com/scan.php?page=article&item=btrfs_lzo_2638&num=2

Più recente ma solo tra i vari algoritmi di compressione: https://www.phoronix.com/scan.php?page=article&item=btrfs-zstd-compress&num=2

Sì, ok, ma sempre lì siamo....in termini pratici nemmeno ci fai caso se non hai davvero tanta roba...
Inoltre io sto sempre parlando di vita degli SSD. Se vedo che effettivamente un disco con filesystem btrfs(e con le già citate opzioni) mi fa 6 mesi/1-2 anni in più rispetto ad un disco con opzioni diverse o file system diverso, allora mi ricrederò.

 

[EmanueleC]

Sì, ok, ma sempre lì siamo....in termini pratici nemmeno ci fai caso se non hai davvero tanta roba...
Inoltre io sto sempre parlando di vita degli SSD. Se vedo che effettivamente un disco con filesystem btrfs(e con le già citate opzioni) mi fa 6 mesi/1-2 anni in più rispetto ad un disco con opzioni diverse o file system diverso, allora mi ricrederò.

Ed è quello che ti sto dicendo in molti post ma che tutte volte ignori... è il test case di facebook. Se scrivi meno su un SSD grazie alla compressione, è ovvio che dura di più l'SSD.

We buy worse hardware than a typical laptop user uses, at least for our hard drives. Also we hit our disks harder than most typical Fedora users. Consider the web tier for example, we push the entire website to every box in the web tier (measured in hundreds of thousands of machines) probably 6-10 times a day. This is roughly 40 gib of data, getting written to these truly terrible consumer grade flash drives (along with some spinning rust), 6-10 times a day. In addition to the normal sort of logging, package updates, etc that happen. Also keep in mind we pay really close attention to burn rates for our drives, because obviously at our scale it translates to millions of dollars. Btrfs has improved our burn rates with the compression, as the write amplification goes drastically down, thus extending the life of the drives. Obviously the Facebook scale, recoverability, and workload is going to be drastically different from a random Fedora user. But hardware wise we are pretty close, at least on the disk side. Thanks,

 

[LitterallyWho]

Ed è quello che ti sto dicendo in molti post ma che tutte volte ignori... è il test case di facebook. Se scrivi meno su un SSD grazie alla compressione, è ovvio che dura di più l'SSD.

Visualizza allegato 388543

Visualizza allegato 388544

Ho capito...ma effettivamente di quanto si parla in termini pratici? Io non penso si tratti di chi sa che differenza..ma vabé