L’expansió del primer nucli medieval es va fer en direcció al mar i en va triplicar la superfície. Aquest creixement va obligar a ampliar les muralles. Del segon recinte es conserven quatre de les torres circulars i alguns panys de muralla. Davant s’estenia el barri del port, amb magatzems per a pescadors i mercaders, i una drassana. El port disposava d’un moll i una torre, ja construïts el 1311.
