Importante base militare sotto il dominio dei romani prima e dei bizantini poi.

Portovenere fu durante i primi secoli della cristianità centro di insediamenti monastici che si estesero in seguito alle vicine isole della Palmaria Tino e Tinetto.  Le prime notizie documentate del borgo risalgono all'anno Mille quando entrò a far parte della signoria dei Da Vezzano poi nel 1113 venne ceduto alla Repubblica   di Genova come riferito dall'iscrizione sopra alla porta d'ingresso  "COLONIA JANUENSIS 1113"

Dell'esistenza di quest'antico borgo si ha notizia in epoca romana: ad esempio Portus Veneris è citato dal geografo Strabone, nella traduzione latina della Geografia generale di Claudio Tolomeo, anche il nome è fatto risalire alla dominazione romana e, vale a dire alla costruzione di un tempio dedicato a Venere Ericina sul picco di roccia dove sorge l'attuale chiesa di S.Pietro.

Fu con Genova che il borgo assunse la sua disposizione attuale. Si ritiene che l'antico presidio pregenovese dovesse comprendere l'area di fronte alla chiesa di S.Pietro e l'istmo di roccia che la collega alla terra ferma.

Portovenere divenne, per opera dei genovesi, un complesso ben strutturato di difesa.

Furono costruite le case-torri, disposte in fila sulla riva e adatte, per la loro conformazione a resistere agli attacchi portati dal mare.Fu edificata la cinta muraria che partendo dalla porta d'ingresso, presidiata da torrioni e, verso la schiera delle case, s'inerpicava verso l'alto, dove sorge l'attuale castello. Dal corpo delle mura si staccavano due grandi torri quadrate e merlate, anch'esse ben visibili e conservate.

Le torri e le fortificazioni di Portovenere furono a più riprese investite dalle forze dei nemici della Repubblica. Nel 1242, il borgo fu attaccato da terra e dal mare, la resistenza opposta alle forze pisane, guidate da Oberto Pallavicini, durò venti giorni e si concluse con la vittoria di Portovenere.

Il borgo era riuscito a resistere alla forza delle armi, ma non poté fare altrettanto di fronte ad un terribile incendio scoppiato per cause accidentali, nel 1340 lo distrusse quasi completamente danneggiando anche le chiese di S.Pietro e S. Lorenzo, e risparmiando solo le fortificazioni.

La Repubblica di Genova rammodernò le proprie fortezze e nel1458 iniziò i lavori per demolire il vecchio castello e costruirne uno nuovo, che, assunse la forma che noi oggi possiamo ammirare.

La struttura attuale del castello è ben conservata e domina con la sua massa grigia il mare e il borgo sottostanti. A valle l'imponente cinta muraria è rafforzata da tre bastioni, mentre a monte, due lati convergono tra loro formando una torre semicircolare. Ai lati del castello sono visibili i fori per le catene di un ponte levatoio, oggi del tutto scomparso. Molto suggestivo è percorrere il cammino di ronda intorno alle mura, da lì è possibile ammirare il passaggio che intreccia alle vestigia della storia bellezze naturali in modo davvero unico.