Pubblicità
DOMANDA Libro Keras/Tensorflow
- Autore discussione dgcross
- Data d'inizio
-
- Tag
- programmazione
Pubblicità
La maggior parte di quei libri sono inutili. Alla fin fine sono introduzioni al deep learning che usano Tensorflow, Keras, Mxnet, Torch o altro framework a piacere.
Il manuale di riferimento di Tensorflow è l'unica cosa che ti serve veramente. Nello specifico la sezione relativa a Keras https://www.tensorflow.org/guide/keras
perchè mi pare che è quello che vuoi usare.
Per il resto trova qualche tutorial che descrive come implementare un certo progetto in Tensorflow e sei a posto. In genere si trova tanta roba nel campo della visione artificiale.
Altra questione è se sei a digiuno di conoscenze sul deep learning, nel qual caso ti serve fissare le basi della disciplina prima di potertici avventurare ( credimi, finiresti per non capire nemmeno i termini che usano ).
In quest'ultimo caso, ci sono le lezioni di Andrew Ng su youtube. Oppure c'è un draft del suo libro Machine Learning Yearning che è gratis. Ancora meglio sarebbe "Deep Learning" di Bengio https://www.deeplearningbook.org/
E' tuttavia abbastanza pesante.
p.s. Keras è un'API supportata da un buon numero di framework per il deep learning, per questo è diventata abbastanza famosa. Inoltre è pensata per essere umanamente utilizzabile ( le API dei vari TF, Mxnet, Caffe, PaddlePaddle sono spesso ostrogoto ).
Il manuale di riferimento di Tensorflow è l'unica cosa che ti serve veramente. Nello specifico la sezione relativa a Keras https://www.tensorflow.org/guide/keras
perchè mi pare che è quello che vuoi usare.
Per il resto trova qualche tutorial che descrive come implementare un certo progetto in Tensorflow e sei a posto. In genere si trova tanta roba nel campo della visione artificiale.
Altra questione è se sei a digiuno di conoscenze sul deep learning, nel qual caso ti serve fissare le basi della disciplina prima di potertici avventurare ( credimi, finiresti per non capire nemmeno i termini che usano ).
In quest'ultimo caso, ci sono le lezioni di Andrew Ng su youtube. Oppure c'è un draft del suo libro Machine Learning Yearning che è gratis. Ancora meglio sarebbe "Deep Learning" di Bengio https://www.deeplearningbook.org/
E' tuttavia abbastanza pesante.
p.s. Keras è un'API supportata da un buon numero di framework per il deep learning, per questo è diventata abbastanza famosa. Inoltre è pensata per essere umanamente utilizzabile ( le API dei vari TF, Mxnet, Caffe, PaddlePaddle sono spesso ostrogoto ).
dgcross
Utente Attivo
- Messaggi
- 1,279
- Reazioni
- 342
- Punteggio
- 77
Ti ringrazio per la risposta.
Non sono completamente a digiuno di deep learning e ora mi sto studiando proprio il libro di Bengio, però trovavo difficile "rompere il ghiaccio" con gli strumenti come keras e TF.
Come altri libri "di base" sto leggendo anche quelli di Sutton & Barto e quello di Bishop
Ora sono riuscito a creare una configurazione a casa con Keras+Theano che gira su GPU (ho delle Fiji quindi tensorflow non gira e ROCm non saprei nemmeno da che parte partire per usarlo) e a fare qualche primo piccolo programma. Superato questo ostacolo, per come sono fatto io, dovrebbe essere più semplice.
A parte Github e Stackoverflow dove altro si può cercare aiuto dalla community? (ci fosse qua un baretto informale :) )
Non sono completamente a digiuno di deep learning e ora mi sto studiando proprio il libro di Bengio, però trovavo difficile "rompere il ghiaccio" con gli strumenti come keras e TF.
Come altri libri "di base" sto leggendo anche quelli di Sutton & Barto e quello di Bishop
Ora sono riuscito a creare una configurazione a casa con Keras+Theano che gira su GPU (ho delle Fiji quindi tensorflow non gira e ROCm non saprei nemmeno da che parte partire per usarlo) e a fare qualche primo piccolo programma. Superato questo ostacolo, per come sono fatto io, dovrebbe essere più semplice.
A parte Github e Stackoverflow dove altro si può cercare aiuto dalla community? (ci fosse qua un baretto informale :) )
Il libro di Bishop è molto ampio. Un ottimo riferimento per carità, ma tratta in maniera ampia l'intero ramo del machine learning. Può distrarre e risultare ostico.
Brutta cosa. AMD e deep learning fanno a cazzotti. Esiste ROCm, ma chi lo supporta? Il massimo è un supporto sperimentale da parte di Caffe e qualche altro.
Il resto è tutto Cuda.
Francamente non ho trovato molto altro.
dgcross
Utente Attivo
- Messaggi
- 1,279
- Reazioni
- 342
- Punteggio
- 77
Ho quasi una doppia laurea (una in matematica e una tra 2 mesi in data science) quindi non lo trovo particolarmente ostico. Ampio sì, infatti tendo a leggere l'argomento che in quel momento mi interessa.
Al momento ho provato a far girare su GPU il training di un semplicissimo autoencoder tramite Theano e ci mette di più che col Ryzen 1600. Avevo letto che per reti semplici poteva capitare perché è più il tempo che ci mette a trasferire i dati da RAM a VRAM che quello che risparmia.
Invece è dovuto al fatto che OpenCL su Theano fa schifo? :(
Sinceramente con 16 TFLOPS a disposizione con impianto a liquido custom mi seccherebbe dover spendere soldi per procurarmi una scheda con CUDA... Dici che per AMD non c'è speranza?
Sicuro al 90%. A me su una Tinkerboard pure va meglio solo la cpu che con l'ausilio della gpu tramite opencl. E la rete è grossa, con un training set enorme.
Per ora no. In futuro non si può dire.
dgcross
Utente Attivo
- Messaggi
- 1,279
- Reazioni
- 342
- Punteggio
- 77
Pessime notizie... Vabbé ogni tanto pingherò la situazione ROCm (che rispetto a 6 mesi fa mi pare un po' migliorata, ma ancora complicata per le mie conoscenze)
Leggendo in giro mi pare di aver capito che per le mie esigenze la scheda migliore al momento sarebbe una RTX 2070.
Mi toccherà mettere da parte un gruzzoletto e passare a quella se nel frattempo nulla si è mosso.
Leggendo in giro mi pare di aver capito che per le mie esigenze la scheda migliore al momento sarebbe una RTX 2070.
Mi toccherà mettere da parte un gruzzoletto e passare a quella se nel frattempo nulla si è mosso.
Una 1080 o 1080 Ti. La 1080 costa sui 350-400 euro, molto meno delle altre due. La Ti ha un +15% di prestazioni, ma poi i prezzi salgono troppo. Si potrebbe optare per gpu multiple, tanto le reti neurali sono facilmente parallelizzabili.
Direi di si. E' importante avere tanta VRAM per modelli grandi. In teoria il modello dovrebbe entrare tutto in VRAM, altrimenti il sistema procederà a trasferire continuamente dati da RAM a VRAM. Nel qual caso diventa fondamentale la banda passante tra GPU e RAM, per cui minimo 8 linee PCI-e, meglio 16.
La CPU non deve fungere da tappo, cioè dev'essere in grado di fornire i dati alla GPU più velocemente di quanto la GPU possa consumarli. Per questo si consigliano CPU 4-core o superiori. Onestamente non c'è molto lavoro per la CPU e quasi tutte le CPU più comuni ce la fanno.
Un 16 GB di RAM sono più che sufficienti, a meno di avere le necessità di Google. Piuttosto è opportuno un buon SSD.
La CPU non deve fungere da tappo, cioè dev'essere in grado di fornire i dati alla GPU più velocemente di quanto la GPU possa consumarli. Per questo si consigliano CPU 4-core o superiori. Onestamente non c'è molto lavoro per la CPU e quasi tutte le CPU più comuni ce la fanno.
Un 16 GB di RAM sono più che sufficienti, a meno di avere le necessità di Google. Piuttosto è opportuno un buon SSD.
Eh lo so viene l'incazzatura. Che poi paradossalmente le GPU AMD sono più prestanti delle Nvidia nelle operazioni FP16. Cioè usare/addestrare un modello compresso di rete neurale ( e in pratica lo si fa quasi sempre ), offrirebbe prestazioni migliori usando le Radeon.
Pubblicità