DOMANDA Libro Keras/Tensorflow

dgcross

Utente Attivo
1,279
342
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4
HDD
Samsung 980 Pro 512GB, Samsung 870 EVO 2TB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
2x8+2x16 G.Skill TridentZ RGB @3400MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Lian Li O11 Dynamic
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualSense
Net
Tiscali
OS
Windows 10 Pro
Ciao a tutti,
sto cercando un libro che mi dia un'inquadramento generale (ma il più completo possibile) per usare le librerie Keras e Tensorflow.
Su amazon ne ho visti parecchi, ed è per questo che chiedo consiglio a voi
Grazie
 

pabloski

Utente Èlite
2,868
916
La maggior parte di quei libri sono inutili. Alla fin fine sono introduzioni al deep learning che usano Tensorflow, Keras, Mxnet, Torch o altro framework a piacere.

Il manuale di riferimento di Tensorflow è l'unica cosa che ti serve veramente. Nello specifico la sezione relativa a Keras https://www.tensorflow.org/guide/keras

perchè mi pare che è quello che vuoi usare.

Per il resto trova qualche tutorial che descrive come implementare un certo progetto in Tensorflow e sei a posto. In genere si trova tanta roba nel campo della visione artificiale.

Altra questione è se sei a digiuno di conoscenze sul deep learning, nel qual caso ti serve fissare le basi della disciplina prima di potertici avventurare ( credimi, finiresti per non capire nemmeno i termini che usano ).

In quest'ultimo caso, ci sono le lezioni di Andrew Ng su youtube. Oppure c'è un draft del suo libro Machine Learning Yearning che è gratis. Ancora meglio sarebbe "Deep Learning" di Bengio https://www.deeplearningbook.org/

E' tuttavia abbastanza pesante.

p.s. Keras è un'API supportata da un buon numero di framework per il deep learning, per questo è diventata abbastanza famosa. Inoltre è pensata per essere umanamente utilizzabile ( le API dei vari TF, Mxnet, Caffe, PaddlePaddle sono spesso ostrogoto ).
 

dgcross

Utente Attivo
1,279
342
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4
HDD
Samsung 980 Pro 512GB, Samsung 870 EVO 2TB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
2x8+2x16 G.Skill TridentZ RGB @3400MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Lian Li O11 Dynamic
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualSense
Net
Tiscali
OS
Windows 10 Pro
Ti ringrazio per la risposta.
Non sono completamente a digiuno di deep learning e ora mi sto studiando proprio il libro di Bengio, però trovavo difficile "rompere il ghiaccio" con gli strumenti come keras e TF.
Come altri libri "di base" sto leggendo anche quelli di Sutton & Barto e quello di Bishop

Ora sono riuscito a creare una configurazione a casa con Keras+Theano che gira su GPU (ho delle Fiji quindi tensorflow non gira e ROCm non saprei nemmeno da che parte partire per usarlo) e a fare qualche primo piccolo programma. Superato questo ostacolo, per come sono fatto io, dovrebbe essere più semplice.

A parte Github e Stackoverflow dove altro si può cercare aiuto dalla community? (ci fosse qua un baretto informale :) )
 

pabloski

Utente Èlite
2,868
916
quello di Bishop

Il libro di Bishop è molto ampio. Un ottimo riferimento per carità, ma tratta in maniera ampia l'intero ramo del machine learning. Può distrarre e risultare ostico.

Ora sono riuscito a creare una configurazione a casa con Keras+Theano che gira su GPU (ho delle Fiji quindi tensorflow non gira e ROCm non saprei nemmeno da che parte partire per usarlo)

Brutta cosa. AMD e deep learning fanno a cazzotti. Esiste ROCm, ma chi lo supporta? Il massimo è un supporto sperimentale da parte di Caffe e qualche altro.

Il resto è tutto Cuda.

A parte Github e Stackoverflow dove altro si può cercare aiuto dalla community? (ci fosse qua un baretto informale :) )

Francamente non ho trovato molto altro.
 
  • Mi piace
Reazioni: dgcross

dgcross

Utente Attivo
1,279
342
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4
HDD
Samsung 980 Pro 512GB, Samsung 870 EVO 2TB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
2x8+2x16 G.Skill TridentZ RGB @3400MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Lian Li O11 Dynamic
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualSense
Net
Tiscali
OS
Windows 10 Pro
Il libro di Bishop è molto ampio. Un ottimo riferimento per carità, ma tratta in maniera ampia l'intero ramo del machine learning. Può distrarre e risultare ostico.

Ho quasi una doppia laurea (una in matematica e una tra 2 mesi in data science) quindi non lo trovo particolarmente ostico. Ampio sì, infatti tendo a leggere l'argomento che in quel momento mi interessa.

Brutta cosa. AMD e deep learning fanno a cazzotti. Esiste ROCm, ma chi lo supporta? Il massimo è un supporto sperimentale da parte di Caffe e qualche altro.

Al momento ho provato a far girare su GPU il training di un semplicissimo autoencoder tramite Theano e ci mette di più che col Ryzen 1600. Avevo letto che per reti semplici poteva capitare perché è più il tempo che ci mette a trasferire i dati da RAM a VRAM che quello che risparmia.
Invece è dovuto al fatto che OpenCL su Theano fa schifo? :(

Sinceramente con 16 TFLOPS a disposizione con impianto a liquido custom mi seccherebbe dover spendere soldi per procurarmi una scheda con CUDA... Dici che per AMD non c'è speranza?
 

dgcross

Utente Attivo
1,279
342
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4
HDD
Samsung 980 Pro 512GB, Samsung 870 EVO 2TB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
2x8+2x16 G.Skill TridentZ RGB @3400MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Lian Li O11 Dynamic
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualSense
Net
Tiscali
OS
Windows 10 Pro
Pessime notizie... Vabbé ogni tanto pingherò la situazione ROCm (che rispetto a 6 mesi fa mi pare un po' migliorata, ma ancora complicata per le mie conoscenze)

Leggendo in giro mi pare di aver capito che per le mie esigenze la scheda migliore al momento sarebbe una RTX 2070.
Mi toccherà mettere da parte un gruzzoletto e passare a quella se nel frattempo nulla si è mosso.
 

pabloski

Utente Èlite
2,868
916
Leggendo in giro mi pare di aver capito che per le mie esigenze la scheda migliore al momento sarebbe una RTX 2070.
Mi toccherà mettere da parte un gruzzoletto e passare a quella se nel frattempo nulla si è mosso.

Una 1080 o 1080 Ti. La 1080 costa sui 350-400 euro, molto meno delle altre due. La Ti ha un +15% di prestazioni, ma poi i prezzi salgono troppo. Si potrebbe optare per gpu multiple, tanto le reti neurali sono facilmente parallelizzabili.
 
  • Mi piace
Reazioni: dgcross

dgcross

Utente Attivo
1,279
342
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4
HDD
Samsung 980 Pro 512GB, Samsung 870 EVO 2TB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
2x8+2x16 G.Skill TridentZ RGB @3400MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Lian Li O11 Dynamic
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualSense
Net
Tiscali
OS
Windows 10 Pro
Per quanto riguarda il resto ho letto come consigli:
- 4 thread per GPU
- 8 linee PCIe per GPU
- RAM un po' di più della VRAM della GPU che ne ha di più, non conta tanto la velocità

Me lo confermi?
 

pabloski

Utente Èlite
2,868
916
Direi di si. E' importante avere tanta VRAM per modelli grandi. In teoria il modello dovrebbe entrare tutto in VRAM, altrimenti il sistema procederà a trasferire continuamente dati da RAM a VRAM. Nel qual caso diventa fondamentale la banda passante tra GPU e RAM, per cui minimo 8 linee PCI-e, meglio 16.

La CPU non deve fungere da tappo, cioè dev'essere in grado di fornire i dati alla GPU più velocemente di quanto la GPU possa consumarli. Per questo si consigliano CPU 4-core o superiori. Onestamente non c'è molto lavoro per la CPU e quasi tutte le CPU più comuni ce la fanno.

Un 16 GB di RAM sono più che sufficienti, a meno di avere le necessità di Google. Piuttosto è opportuno un buon SSD.
 
  • Mi piace
Reazioni: dgcross

dgcross

Utente Attivo
1,279
342
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4
HDD
Samsung 980 Pro 512GB, Samsung 870 EVO 2TB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
2x8+2x16 G.Skill TridentZ RGB @3400MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Lian Li O11 Dynamic
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualSense
Net
Tiscali
OS
Windows 10 Pro
Ti ringrazio molto per le informazioni (che purtroppo dipingono la mia situazione hardware come disperata :D)
 

pabloski

Utente Èlite
2,868
916
Ti ringrazio molto per le informazioni (che purtroppo dipingono la mia situazione hardware come disperata :D)

Eh lo so viene l'incazzatura. Che poi paradossalmente le GPU AMD sono più prestanti delle Nvidia nelle operazioni FP16. Cioè usare/addestrare un modello compresso di rete neurale ( e in pratica lo si fa quasi sempre ), offrirebbe prestazioni migliori usando le Radeon.
 

dgcross

Utente Attivo
1,279
342
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4
HDD
Samsung 980 Pro 512GB, Samsung 870 EVO 2TB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
2x8+2x16 G.Skill TridentZ RGB @3400MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Lian Li O11 Dynamic
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualSense
Net
Tiscali
OS
Windows 10 Pro
a vedere le caratteristiche della Vega VII viene da sbavare... però è come avere una Ferrari in un posto dove ci sono solo distributori diesel :(
 

Entra

oppure Accedi utilizzando
Discord Ufficiale Entra ora!

Discussioni Simili