Este museo arqueolóxico e histórico aséntase nunha antiga fortaleza construída no século XVI. Dende os séculos XVI ao XVIII foi un edificio defensivo e cárcere, e máis tarde foi utilizado como lazareto para illar aos mariñeiros que chegaban á cidade afectados por algunha enfermidade infecciosa. O museo como tal inaugurouse en 1968. Considérase monumento histórico-artístico dende 1949 e dende 1994 é Ben de Interese Cultural.