Havnepladsen var her for enden af Havneveien, nu Slagkildevej, foran Det Gule Pakhus hvis gavl og kvist ses t.h. I forgrunden det lille Toldopsynshuus, 3 fag grundmur med skorsten og kakkelovn. Det ses i brandforsikringen første gang mellem 1837 og 1847. Det var på 29 kvm, to rum, hhv. pakhus og opsynskontor. Indtil mindst 1865 var der også Toldcomtoir i pakhuset. Overfor ses roklubbens bådehus fra 1903.
I forgr. jagten "Familien" af Næstved, der ejedes og førtes af skipper Adolf Eriksen, Karrebæksminde, og skonnerten "Margrethe" af Karrebæksminde, som tilhørte købmand Fr. L. Brandt*. I baggr. Wittusens* pakhus fra 1840, senere restaurant Kabyssen.
Havnen blev løbende forbedret og udbygget, både sejlløb og kajer.
1873 blev den nordvestlige mole i Karrebæksminde forlænget ca. 5 fod ved ingeniør Otterstrøm og tømrermester P.H. Petersen (NT 15/8 1891).
1883 købte havnen en dampmuddermaskine der -1884 opmudrede til 12 fod i Karrebæksminde og 7 fod op til Næstved.
Efter overenskomst 1899 med De Forenede Papirfabrikker gennemførtes 1900-1902 en større forbedring med uddybning og nye kaj- og krananlæg.
Med papirfabrikkens nye kaj med kraner, færdig 1902, blev jernbane og havn forbundet, også for byens andre erhvervsdrivende.
Det betød tilbagegang for søvejen. Modsat virkede den industrielle vækst. Havnen var stadig vigtig, især for indførsel af grovvarer: kul, jern og foder-, senere også gødningsstoffer til landbruget. Omkr. 1883-87 gik dampskibet Prøven ved F.W. Frandsen i fast fart mellem Karrebæksminde og Kiel, somme tider også Warnemünde. Det medtog dyr til slagtning.
Næstveds handelsflåde imponerer ikke. 1857-78 svingede den o. 20 skibe med i alt o. 700 kommercelæster (ca. 1400 registertons). Købmændene Hans Jacobsen* (d. 1865) og Wittusen* (ophør 1871) havde egne skibe, Sander* (ophør 1885) ikke. De nye dampskibe krævede for meget kapital.
Pram- og Dampskibsinteressentskabet ophørte 1857. Pramme blev private. Små private dampere deltog i pramningen og tilbød også passagerture, især til Karrebæksminde i sæsonen.
1892 overtog Næstved Kommune alle pramme.
Samtidig anskaffede kommunen dampslæbebåden Susaa der ankom fra Sverige med sin besætning: kaptajn Christen Christensen der fik lejlighed i pakhuset, og maskinmester O.Th. Bergqvist, begge stadig i tjeneste 1921.
Der var gennemgående utilfredshed med havneforholdene. 1893- drøftede man en mulig løsning: jernbane til Karrebæksminde, evt. som yderste del af en midtsjællandsk bane over Ringsted. NT var tiltagende skeptisk over for pramfarten. 20/11 1898 opregnede bladet omkostningerne:
I 1892 anskaffedes "Susaa" tilligemed 5 Træpramme og 1 Jærnpram ..
I 1893 anskaffedes 3 Træpramme ..
I 1894 anskaffedes 1 Træpram og 1 Skibsbaad ..
I 1898 er anskaffet 2 Træpramme ..
I 1899 foreslaas det at anskaffe 1 Træpram ..
13/8 1896 blev på initiativ af flere foreninger holdt et borgermøde i Industribygningen. If. NT (15/8) der var tiltagende skeptisk over for pramfarten, sluttede det massivt op om den foreslåede udvidelse af havnen i Karrebæksminde kombineret med en jernbane Næstved - Karrebæksminde. Da byraadet 15/9 1898 i stedet fortrak uddybning af sejlløbet reagerede NT 17/9: .. Modstanderne af en Karrebæksmindebane vil juble: nu er den da slaaet ihjæl for Tid og Evighed! ... vil Banen trænge sig paa igjen ... Profetisk!
I byrådet 11/5 1914 foreslog Niels Andreasen (S) et udvalg til at arbejde med en Karrebæksmindebane. Det kom til at bestå af ham selv, borgmesteren, Elvang, Nandrup* og Jens Nielsen* - tunge drenge. Arbejdet gik i stå. Planen var efter henvendelse fra Handelsstandsforeningen oppe i byrådet 10/10 1921 og blev henlagt. Det varede indtil 1930'erne før man fik en anden løsning.