1875 tegnede J.D. Herholdt, der kendte Herlufsholm fra sit arbejde med kirken 1861-63 og klostret 1868-70, denne Museums- og Gymnastikbygning, ligeledes i nygotisk stil. Huset blev opført 1876-77. Det rummer stadig skolens samlinger, desuden undervisningslokaler.
Den moderne tilbygning der anes t.v., Fysikum, er opført 1959-60 ved arkitekterne Erling Langkilde og Ib Martin Jensen
Østfløjen (t.h.) var oprindelig kun på én etage. Den blev forhøjet i midten af 1950'erne.