Il cavo ottico trasporta un segnale digitale, tale segnale necessita di un DAC per essere convertito in analogico ed essere così utilizzabile dagli speaker del tuo 5.1. Ovviamente il tuo impianto, per avere un ingresso ottico, ha anche un DAC integrato, ma sulla qualità di questo componente è difficile esprimere opinioni a priori.
Il jack da 3,5mm, invece, trasporta un segnale analogico che può essere stereo, se non compresso, oppure multicanale se compresso con codifica Dolby oppure DTS. Per riottenere il multicanale, il tuo impianto deve essere in grado di decodificare tale segnale secondo l'opportuna codifica.
Sulla carta sarebbe meglio usare l'ottico, è un tipo di connessione virtualmente immune da disturbi esterni, ma se hai una buona scheda audio magari vorresti bypassare il DAC integrato, in tal caso conviene andare di jack.