DOMANDA Caro energia; risparmiare sulla render farm

Pubblicità
L

leonardo6e56

Utente Èlite
Messaggi
2,335
Reazioni
356
Punteggio
108
Salve

L'anno scorso avevo(amo) fatto una render farm che possono usare tutti in una stanza nello studio di editing (ci sono content creator per ogni contenuto) dove alloggio (e pago).
Era composta da una decina abbondante di pc vecchi trovati in giro e da OTTO server vecchi (g7 e g5 hp); ovviamente ora è cambiata abbiamo roba leggermente migliore (sempre gente che porta roba da fonti sconosciute) ovvero:
8 pc i7 9700k con gtx 1650 super ciascuno, 16 gb di ram, messi in case da server 4u
1 pc-server 1u i3 2140 (che ho portato io) con 4 gb di ram che ci serve solo per far girare il programma che serve da sparargli dentro i render e per distribuirgli su tutti i pc
1 server dl560 g8 equipaggiato con 4 e5 4637 v2 (mi sembra comunque sono 4x10core)
2 server dl380 g8 con 2 e5 2650 v2 con 16 gb di ram, uno è rotto ha solo una cpu e ha solo 12 gb di ram (non legge la memoria su nessun canale tranne che il 7)
2 server uguali a quelli di prima ma con 64 gb di ram
6 server dl360 g7 con x5665 e 32 gb di ram, tutti hanno delle gt730 2gb gddr5 (le avevano già)
1 serverone dl560 g10 con 4x16 core e 96 gb di ram che lo ha portato uno non so da dove
Tutto collegato con vari switch gigabit infilati dietro nei peggio posti che collegano i pc in rete insieme, e vari switch video vga che funzionano anche con porte usb per tastiera e mouse

Recentemente però mi sono accorto che, anche a causa caro energia, ne usiamo praticamente solo la metà al massimo, ovviamente gli altri sono spenti, talvolta anche un server da solo!
Quindi ho detto che magari è arrivato un bel momento per fare una pulizia per scollegare pc che ormai... abbiamo roba migliore

Come mi consigliate di sistemare? (la render farm tuttora a pieno regime (escluso il server rotto) fa 3.4- 3.6 kWh istantanei che non è molto bello...) abbiamo anche il fotovoltaico con sistema di accumulo ma non basta mai dato che alimenta tutto l'edificio e se teniamo tutto acceso anche in idle fa 2.1 kWh e andiamo sempre a pescare dalla rete (14,4 kW di pannelli)
 
leonardo6e56 ha detto:
Salve

L'anno scorso avevo(amo) fatto una render farm che possono usare tutti in una stanza nello studio di editing (ci sono content creator per ogni contenuto) dove alloggio (e pago).
Era composta da una decina abbondante di pc vecchi trovati in giro e da OTTO server vecchi (g7 e g5 hp); ovviamente ora è cambiata abbiamo roba leggermente migliore (sempre gente che porta roba da fonti sconosciute) ovvero:
8 pc i7 9700k con gtx 1650 super ciascuno, 16 gb di ram, messi in case da server 4u
1 pc-server 1u i3 2140 (che ho portato io) con 4 gb di ram che ci serve solo per far girare il programma che serve da sparargli dentro i render e per distribuirgli su tutti i pc
1 server dl560 g8 equipaggiato con 4 e5 4637 v2 (mi sembra comunque sono 4x10core)
2 server dl380 g8 con 2 e5 2650 v2 con 16 gb di ram, uno è rotto ha solo una cpu e ha solo 12 gb di ram (non legge la memoria su nessun canale tranne che il 7)
2 server uguali a quelli di prima ma con 64 gb di ram
6 server dl360 g7 con x5665 e 32 gb di ram, tutti hanno delle gt730 2gb gddr5 (le avevano già)
1 serverone dl560 g10 con 4x16 core e 96 gb di ram che lo ha portato uno non so da dove
Tutto collegato con vari switch gigabit infilati dietro nei peggio posti che collegano i pc in rete insieme, e vari switch video vga che funzionano anche con porte usb per tastiera e mouse

Recentemente però mi sono accorto che, anche a causa caro energia, ne usiamo praticamente solo la metà al massimo, ovviamente gli altri sono spenti, talvolta anche un server da solo!
Quindi ho detto che magari è arrivato un bel momento per fare una pulizia per scollegare pc che ormai... abbiamo roba migliore

Come mi consigliate di sistemare? (la render farm tuttora a pieno regime (escluso il server rotto) fa 3.4- 3.6 kWh istantanei che non è molto bello...) abbiamo anche il fotovoltaico con sistema di accumulo ma non basta mai dato che alimenta tutto l'edificio e se teniamo tutto acceso anche in idle fa 2.1 kWh e andiamo sempre a pescare dalla rete (14,4 kW di pannelli)
Clicca per espandere...
Concentra nel minor numero possibile di macchine che abbiano il maggior numero di core possibili escludendo le altre. Che utilizzi per gestirle?
 
Kelion ha detto:
Concentra nel minor numero possibile di macchine che abbiano il maggior numero di core possibili escludendo le altre. Che utilizzi per gestirle?
Clicca per espandere...
backburner principalmente, oltre a qualche sw proprietario per farlo funzionare correttamente con i motori di render(il software che gira sul pc i3 con cui mi interfaccio per mandare dentro i render), collegato a vari sw tra cui 3dstudiomax, premiere e sony vegas, come gestione remota accendi/spegni non c'è XD... uno alla mattina che apre lo studio passa dalla sala e accende qualche computer che sta acceso praticamente tutto il giorno, di norma accendiamo il pc i3 indispensabile, e qualche i7 (ultimamente sempre di meno) poi se ci serve più potenza accendiamo altri computer, quali pc sono accesi o spenti li guardo da una ultities installata sul mio pc di backburner che mi mostra eventuali render in coda con il loro stato di avanzamento, e lo stato dei vari pc; quando veniamo via spegnamo tutti i pc, all'ingresso con un interruttore stacchiamo comunque la corrente dello sgabuzzino e la stanza render quando si chiude.

non sono impostati timer di accensione o spegnimento anche se quello di spegnimento sarebbe carino.
--- i due messaggi sono stati uniti ---
potrebbe andare bene?
elimino:
4 pc i7 e metto la loro ram sugli altri 4 i7 rimasti
il server che non funziona e quello con 16 gb di ram, la loro ram la metto in un g8 con 96 gb finali
tutti i g7
fine
 
Ultima modifica:
leonardo6e56 ha detto:
backburner principalmente, oltre a qualche sw proprietario per farlo funzionare correttamente con i motori di render(il software che gira sul pc i3 con cui mi interfaccio per mandare dentro i render), collegato a vari sw tra cui 3dstudiomax, premiere e sony vegas, come gestione remota accendi/spegni non c'è XD... uno alla mattina che apre lo studio passa dalla sala e accende qualche computer che sta acceso praticamente tutto il giorno, di norma accendiamo il pc i3 indispensabile, e qualche i7 (ultimamente sempre di meno) poi se ci serve più potenza accendiamo altri computer, quali pc sono accesi o spenti li guardo da una ultities installata sul mio pc di backburner che mi mostra eventuali render in coda con il loro stato di avanzamento, e lo stato dei vari pc; quando veniamo via spegnamo tutti i pc, all'ingresso con un interruttore stacchiamo comunque la corrente dello sgabuzzino e la stanza render quando si chiude.

non sono impostati timer di accensione o spegnimento anche se quello di spegnimento sarebbe carino.
--- i due messaggi sono stati uniti ---
potrebbe andare bene?
elimino:
4 pc i7 e metto la loro ram sugli altri 4 i7 rimasti
il server che non funziona e quello con 16 gb di ram, la loro ram la metto in un g8 con 96 gb finali
tutti i g7
fine
Clicca per espandere...
Non ho capito se lo fate per terzi o per progetti vostri. Insomma avete i clienti che giustificano la spesa o no? Quindi usate fondamentalmente roba Autodesk
 
Kelion ha detto:
Non ho capito se lo fate per terzi o per progetti vostri. Insomma avete i clienti che giustificano la spesa o no?
Clicca per espandere...
più per progetti nostri ma anche qualche cliente esterno (ci sono video editor che fanno qualche montaggio anche per altri youtubers, audio editor, persone che fanno addirittura modeling 3d)
 
leonardo6e56 ha detto:
più per progetti nostri ma anche qualche cliente esterno (ci sono video editor che fanno qualche montaggio anche per altri youtubers, audio editor, persone che fanno addirittura modeling 3d)
Clicca per espandere...
Avete provato Blender? Facendo una Blender farm usereste solo software open source
 
allora ho proposto e hanno approvato, quindi questo opencue funzionerebbe con tutti i programmi? come ora fa backburner?

quali componenti devo installare? come li devo installare? basta windows o devo usare sistemi speciali?
 
leonardo6e56 ha detto:
allora ho proposto e hanno approvato, quindi questo opencue funzionerebbe con tutti i programmi? come ora fa backburner?

quali componenti devo installare? come li devo installare? basta windows o devo usare sistemi speciali?
Clicca per espandere...
Di solito è tutto vrtualizzato su container Docker con sistema operativo Linux. E' un cambio di filosofia non è banale come svolta tecnologica l'utilizzo di Opencue che poi non supporta 3DSMax. Blender è installabile anche su windows ma i rendering su Linux sono ottimizzati e molto più brevi. Di solito c'è un add-on diretto di blender chiamato Crowdrender per renderizzare in render farm.
www.blender.it

Crowdrender | Blender Italia Community

Questo addon permette di creare una propria render farm sulla quale distribuire il calcolo dei render della scena; è compatibile con Cycles ed Eevee, può gestire sia render statici che animazioni, supporta il compositor,...
www.blender.it www.blender.it
 
Per quanto riguarda altri sw tipo premiere funziona opencue?
Io con linux non so una ceppa dato che anche per installare un browser ci metto 2 ore, ho provato a vedere qualcosa su docker, l'abisso totale; non c'ho capito niente ma niente. Anche perché succede sempre che sul tutorial c'è scritto di eseguire un comando che darà risultato "pippo" e nella realtà da fuori "lorenzo" o va in errore XD
Mi servirebbe una guida proprio passo passo spiegandomi cosa devo fare TUTTO anche installare docker, linux stesso. Una volta perché poi copio con il partition manager clono tutti i dischi così hanno tutti le stesse cose
Ma cosa sono i database opencue?
 
leonardo6e56 ha detto:
Per quanto riguarda altri sw tipo premiere funziona opencue?
Io con linux non so una ceppa dato che anche per installare un browser ci metto 2 ore, ho provato a vedere qualcosa su docker, l'abisso totale; non c'ho capito niente ma niente. Anche perché succede sempre che sul tutorial c'è scritto di eseguire un comando che darà risultato "pippo" e nella realtà da fuori "lorenzo" o va in errore XD
Mi servirebbe una guida proprio passo passo spiegandomi cosa devo fare TUTTO anche installare docker, linux stesso. Una volta perché poi copio con il partition manager clono tutti i dischi così hanno tutti le stesse cose
Ma cosa sono i database opencue?
Clicca per espandere...
I database opencue sono quelli utilizzati per condividere il rendering sui vari pc. Ma vista la tua situazione ti direi di provare la soluzione Crowdrender su blender che è più malleabile e facilmente implementabile. Basta installare una distro linux, blender e Crowdrender poi imposti tutto da blender. Ti ho linkato il video e i link necessari su. Inizi su una sola macchina per vedere come funziona e poi la estendi. Vanno installati servizi aggiuntivi come SMB e python
 
Ultima modifica:
Pubblicità
Pubblicità
Indietro
Top