L’expansió del primer nucli medieval es va fer en direcció al mar i en va triplicar la superfície. Aquest creixement va obligar a ampliar les muralles. D'aquest segon recinte fortificat es conserven quatre de les torres circulars i alguns panys de muralla. Extramurs s’estenia el barri del port, amb magatzems per a pescadors i mercaders, i una drassana. El port disposava d’un moll i una torre, ja construïts el 1311.
