La soluzione migliore sarebbe Slackware con xfce. Certo, avresti un bel po' di lavoro da fare post-installazione ma una volta configurato il tutto saresti a posto. Inoltre, se sei interessato, impareresti un sacco di cose amministrando un sistema Slack!
Una faticaccia immane. A quel punto, gli conviene puntare su qualcosa di più popolare ( e quindi con maggiore documentazione, una comunità più grande ), tipo Archlinux.
O, se Systemd dà fastidio, Void.