Generalizzando un poco:
Per reference si intende la scheda così come pensata da nvidia (quindi circuiti, clock della gpu e delle memoria ...) senza particolari modifiche da parte dello specifico produttore (msi/asus/palit/zotac etc...)
Una scheda custom è solitamente OC e i componenti e i dissipatori sono modificati per sopportare il carico superiore e le temperature più alte. Praticamente si è arrivati al punto che le versioni custom dei produttori "top" (ovvero msi asus gigabyte ed evga) sono più affidabili delle reference oltre che molto più performanti e silenziose
La 760 che dici tu è una ottima scheda per quella fascia di prezzo e raggiunge le prestazioni di una 670 costando poco meno.
Diciamo che comprando una nuova scheda può essere una buona idea andare su una scheda di ultima generazione piuttosto che della generazione precedente, ma la 670 è ancora una ottima e valida scheda e le versioni OC sono praticamente ai livelli della 680 costando molto meno.
Diciamo che la scala di prestazioni è 760 < 670 < 680 < 770 mentre i prezzi sono 760 < 670 < 770 < 680
Detto questo, considera i limiti del tuo sistema, scegli la tua fascia di prezzo e la scelta diventa piuttosto semplice :sisi: