VS Code è di per sè pesante rispetto ad altri editor ( tipo Vim e Sublime Text ). E' molto più leggero rispetto all'editor equivalente, basato sulla stessa tecnologia ( Electron ) e cioè Atom.
E' infinitamente più leggero di un IDE full fledged.
Il problema è che nel tuo caso, ad impiegare tanto tempo è il compilatore javac. Cioè quella configurazione hardware è decisamente vecchiotta per qualsiasi tool di programmazione moderno.
Ovviamente questo non significa che i programmi generati saranno altrettanto lenti. Non dimentichiamo che un compilatore fa cose da pazzi per produrre il codice macchina e in genere più è sofisticato, più tempo impiegherà per produrlo. Da cui la necessità, per un programmatore, di avere una macchina più potente di quella degli utenti che useranno i suoi programmi.