Restaureringen af Sct. Peder havde V. Ahlmann som konduktør. 1891 byggede Herholdt også toldboden på Banegårdspladsen. Den blev revet ned i 1972.

Herholdt tilhører den nationalromantiske historicisme. Hans tilgang til restaureringer var ikke i overensstemmelse med nutidens - hvilket egentlig ikke kan undre. Blandt hans arbejder er Universitetsbiblioteket i på hjørnet af Frue Plads og Fiolstræde (1857-61), Polyteknisk Læreanstalt (1887-90), begge i København. Han var kgl. bygningsinspektør 1881-92.