Kalvehave Færgegårds og Gammel Kalvehaves historie går sandsynligvis helt tilbage til de tidligste beboelser efter istiden og i stenalderen, idet der er gjort talrige fund af flinteredskaber i hele området, ligesom der er fundet rester af bopladser og møddinger langs kysten.
I år 1304 nævnes navnet Kaluehaghæ eller Skånningehafn om bebyggelsen. I hele Middelalderperioden fandt de store sildefangster sted i hele Øresundsområdet, og navnet Skånningehafn vidner om, at der her som i områderne ved København og i Skåne gjordes store fangster af sild, som blev saltet og lagt i store tønder. Man påstod jo, at sildene fandtes i så store mængder, at hvis man stak en åre i vandet, ville den blive stående lodret, så tæt stod stimerne. Silden var jo den vigtigste ernæring for store dele af befolkningen i dagligdagen. Man spiste sild morgen, middag og aften og ikke mindst i fastetiden, da danskerne var katolikker frem til reformationen i 1520’erne. Sildefangsterne har utvivlsomt været en god indtægtskilde for beboerne og købmændene. Flere steder i området, bl.a. på Møn ved Borre vidner kirkernes størrelse om, at der har været store indtægter.