DOMANDA Libro Keras/Tensorflow

dgcross

Utente Attivo
1,267
341
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4 (BIOS 6.12)
HDD
Samsung 870 EVO 2TB, Samsung 980 Pro 512GB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
4x8 G.Skill TridentZ RGB @3666MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Fractal Design Define S TG
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualShock4
Net
Fastweb
OS
Windows 10 Pro. Ubuntu 20.04
Ciao a tutti,
sto cercando un libro che mi dia un'inquadramento generale (ma il più completo possibile) per usare le librerie Keras e Tensorflow.
Su amazon ne ho visti parecchi, ed è per questo che chiedo consiglio a voi
Grazie
 

pabloski

Utente Èlite
2,716
787
La maggior parte di quei libri sono inutili. Alla fin fine sono introduzioni al deep learning che usano Tensorflow, Keras, Mxnet, Torch o altro framework a piacere.

Il manuale di riferimento di Tensorflow è l'unica cosa che ti serve veramente. Nello specifico la sezione relativa a Keras https://www.tensorflow.org/guide/keras

perchè mi pare che è quello che vuoi usare.

Per il resto trova qualche tutorial che descrive come implementare un certo progetto in Tensorflow e sei a posto. In genere si trova tanta roba nel campo della visione artificiale.

Altra questione è se sei a digiuno di conoscenze sul deep learning, nel qual caso ti serve fissare le basi della disciplina prima di potertici avventurare ( credimi, finiresti per non capire nemmeno i termini che usano ).

In quest'ultimo caso, ci sono le lezioni di Andrew Ng su youtube. Oppure c'è un draft del suo libro Machine Learning Yearning che è gratis. Ancora meglio sarebbe "Deep Learning" di Bengio https://www.deeplearningbook.org/

E' tuttavia abbastanza pesante.

p.s. Keras è un'API supportata da un buon numero di framework per il deep learning, per questo è diventata abbastanza famosa. Inoltre è pensata per essere umanamente utilizzabile ( le API dei vari TF, Mxnet, Caffe, PaddlePaddle sono spesso ostrogoto ).
 

dgcross

Utente Attivo
1,267
341
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4 (BIOS 6.12)
HDD
Samsung 870 EVO 2TB, Samsung 980 Pro 512GB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
4x8 G.Skill TridentZ RGB @3666MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Fractal Design Define S TG
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualShock4
Net
Fastweb
OS
Windows 10 Pro. Ubuntu 20.04
Ti ringrazio per la risposta.
Non sono completamente a digiuno di deep learning e ora mi sto studiando proprio il libro di Bengio, però trovavo difficile "rompere il ghiaccio" con gli strumenti come keras e TF.
Come altri libri "di base" sto leggendo anche quelli di Sutton & Barto e quello di Bishop

Ora sono riuscito a creare una configurazione a casa con Keras+Theano che gira su GPU (ho delle Fiji quindi tensorflow non gira e ROCm non saprei nemmeno da che parte partire per usarlo) e a fare qualche primo piccolo programma. Superato questo ostacolo, per come sono fatto io, dovrebbe essere più semplice.

A parte Github e Stackoverflow dove altro si può cercare aiuto dalla community? (ci fosse qua un baretto informale :) )
 

pabloski

Utente Èlite
2,716
787
quello di Bishop

Il libro di Bishop è molto ampio. Un ottimo riferimento per carità, ma tratta in maniera ampia l'intero ramo del machine learning. Può distrarre e risultare ostico.

Ora sono riuscito a creare una configurazione a casa con Keras+Theano che gira su GPU (ho delle Fiji quindi tensorflow non gira e ROCm non saprei nemmeno da che parte partire per usarlo)

Brutta cosa. AMD e deep learning fanno a cazzotti. Esiste ROCm, ma chi lo supporta? Il massimo è un supporto sperimentale da parte di Caffe e qualche altro.

Il resto è tutto Cuda.

A parte Github e Stackoverflow dove altro si può cercare aiuto dalla community? (ci fosse qua un baretto informale :) )

Francamente non ho trovato molto altro.
 
  • Like
Reactions: dgcross

dgcross

Utente Attivo
1,267
341
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4 (BIOS 6.12)
HDD
Samsung 870 EVO 2TB, Samsung 980 Pro 512GB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
4x8 G.Skill TridentZ RGB @3666MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Fractal Design Define S TG
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualShock4
Net
Fastweb
OS
Windows 10 Pro. Ubuntu 20.04
Il libro di Bishop è molto ampio. Un ottimo riferimento per carità, ma tratta in maniera ampia l'intero ramo del machine learning. Può distrarre e risultare ostico.

Ho quasi una doppia laurea (una in matematica e una tra 2 mesi in data science) quindi non lo trovo particolarmente ostico. Ampio sì, infatti tendo a leggere l'argomento che in quel momento mi interessa.

Brutta cosa. AMD e deep learning fanno a cazzotti. Esiste ROCm, ma chi lo supporta? Il massimo è un supporto sperimentale da parte di Caffe e qualche altro.

Al momento ho provato a far girare su GPU il training di un semplicissimo autoencoder tramite Theano e ci mette di più che col Ryzen 1600. Avevo letto che per reti semplici poteva capitare perché è più il tempo che ci mette a trasferire i dati da RAM a VRAM che quello che risparmia.
Invece è dovuto al fatto che OpenCL su Theano fa schifo? :(

Sinceramente con 16 TFLOPS a disposizione con impianto a liquido custom mi seccherebbe dover spendere soldi per procurarmi una scheda con CUDA... Dici che per AMD non c'è speranza?
 

dgcross

Utente Attivo
1,267
341
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4 (BIOS 6.12)
HDD
Samsung 870 EVO 2TB, Samsung 980 Pro 512GB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
4x8 G.Skill TridentZ RGB @3666MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Fractal Design Define S TG
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualShock4
Net
Fastweb
OS
Windows 10 Pro. Ubuntu 20.04
Pessime notizie... Vabbé ogni tanto pingherò la situazione ROCm (che rispetto a 6 mesi fa mi pare un po' migliorata, ma ancora complicata per le mie conoscenze)

Leggendo in giro mi pare di aver capito che per le mie esigenze la scheda migliore al momento sarebbe una RTX 2070.
Mi toccherà mettere da parte un gruzzoletto e passare a quella se nel frattempo nulla si è mosso.
 

pabloski

Utente Èlite
2,716
787
Leggendo in giro mi pare di aver capito che per le mie esigenze la scheda migliore al momento sarebbe una RTX 2070.
Mi toccherà mettere da parte un gruzzoletto e passare a quella se nel frattempo nulla si è mosso.

Una 1080 o 1080 Ti. La 1080 costa sui 350-400 euro, molto meno delle altre due. La Ti ha un +15% di prestazioni, ma poi i prezzi salgono troppo. Si potrebbe optare per gpu multiple, tanto le reti neurali sono facilmente parallelizzabili.
 
  • Like
Reactions: dgcross

dgcross

Utente Attivo
1,267
341
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4 (BIOS 6.12)
HDD
Samsung 870 EVO 2TB, Samsung 980 Pro 512GB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
4x8 G.Skill TridentZ RGB @3666MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Fractal Design Define S TG
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualShock4
Net
Fastweb
OS
Windows 10 Pro. Ubuntu 20.04
Per quanto riguarda il resto ho letto come consigli:
- 4 thread per GPU
- 8 linee PCIe per GPU
- RAM un po' di più della VRAM della GPU che ne ha di più, non conta tanto la velocità

Me lo confermi?
 

pabloski

Utente Èlite
2,716
787
Direi di si. E' importante avere tanta VRAM per modelli grandi. In teoria il modello dovrebbe entrare tutto in VRAM, altrimenti il sistema procederà a trasferire continuamente dati da RAM a VRAM. Nel qual caso diventa fondamentale la banda passante tra GPU e RAM, per cui minimo 8 linee PCI-e, meglio 16.

La CPU non deve fungere da tappo, cioè dev'essere in grado di fornire i dati alla GPU più velocemente di quanto la GPU possa consumarli. Per questo si consigliano CPU 4-core o superiori. Onestamente non c'è molto lavoro per la CPU e quasi tutte le CPU più comuni ce la fanno.

Un 16 GB di RAM sono più che sufficienti, a meno di avere le necessità di Google. Piuttosto è opportuno un buon SSD.
 
  • Like
Reactions: dgcross

dgcross

Utente Attivo
1,267
341
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4 (BIOS 6.12)
HDD
Samsung 870 EVO 2TB, Samsung 980 Pro 512GB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
4x8 G.Skill TridentZ RGB @3666MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Fractal Design Define S TG
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualShock4
Net
Fastweb
OS
Windows 10 Pro. Ubuntu 20.04
Ti ringrazio molto per le informazioni (che purtroppo dipingono la mia situazione hardware come disperata :D)
 

pabloski

Utente Èlite
2,716
787
Ti ringrazio molto per le informazioni (che purtroppo dipingono la mia situazione hardware come disperata :D)

Eh lo so viene l'incazzatura. Che poi paradossalmente le GPU AMD sono più prestanti delle Nvidia nelle operazioni FP16. Cioè usare/addestrare un modello compresso di rete neurale ( e in pratica lo si fa quasi sempre ), offrirebbe prestazioni migliori usando le Radeon.
 

dgcross

Utente Attivo
1,267
341
CPU
Ryzen 5 5600X
Dissipatore
EK Supremacy EVO (2x Alphacool NexXxoS ST30 360mm)
Scheda Madre
ASRock X370 Gaming K4 (BIOS 6.12)
HDD
Samsung 870 EVO 2TB, Samsung 980 Pro 512GB, Goodram CX300 480GB, Toshiba P300 3TB
RAM
4x8 G.Skill TridentZ RGB @3666MHz CL16
GPU
Galax 2080 Ti HOF OC Lab + liquido custom (2x Alphacool NexXxoS ST30 360mm)
Audio
Alientek D8, Fiio Q1 Mark II, Mission LX-1, Sennheiser HD598 SE
Monitor
Samsung U28E590D
PSU
Corsair AX860i
Case
Fractal Design Define S TG
Periferiche
Ozone Strike Pro Spectra, Steelseries Rival 500, DualShock4
Net
Fastweb
OS
Windows 10 Pro. Ubuntu 20.04
a vedere le caratteristiche della Vega VII viene da sbavare... però è come avere una Ferrari in un posto dove ci sono solo distributori diesel :(
 

Entra

oppure Accedi utilizzando

Hot: E3 2021, chi ti è piaciuto di più?

  • Ubisoft

    Voti: 28 21.5%
  • Gearbox

    Voti: 2 1.5%
  • Xbox & Bethesda

    Voti: 84 64.6%
  • Square Enix

    Voti: 10 7.7%
  • Capcom

    Voti: 6 4.6%
  • Nintendo

    Voti: 18 13.8%
  • Altro (Specificare)

    Voti: 11 8.5%

Discussioni Simili