El Ingeniero Mayor Tiburcio Spanocchi propuso en 1598 la construcción de un pequeño castillo que guardara la entrada del puerto de Pasaia, pero hasta 1620 Julio de Oviedo y el capitán Francisco Lupecio no redactaron el primer proyecto de fortificación, localizando el castillo en las inmediaciones de un viejo molino (Txurrutella-errota). La falta de medios económicos impidió que la fortificación fuera terminada, llegándose a realizar en esta primera fase únicamente la base de la plataforma de artillería.
Las obras se vieron ralentizadas nuevamente en 1633 a causa de los desacuerdos surgidos entre los ingenieros Jerónimo de Soto y Pedro Palear "Fratín". En 1638 y en 1719 el inconcluso castillo fue tomado por las tropas francesas, que realizaron en él algunas modificaciones de importancia. Posteriores actuaciones fueron confiriendo a la fortaleza la configuración que pudieron conocer los pasaitarras de principios del siglo XX.
El frente marino estaba formado por un grueso muro quebrado de seis tramos dotados de desigual longitud y orientación que sostenía el terraplén de la plataforma principal. En el sector de parapeto que miraba directamente hacia la embocadura del canal del puerto se abrían cuatro cañoneras y, bajo ellas, otras tres más se abrían en otras tantas casamatas subterráneas. Una garita de vigilancia quedaba inserta en la confluencia de dos lienzos de muralla.
El frente de tierra estaba formado por una elevada muralla, sobre la que podía permanecer la tropa a cubierto de un débil parapeto. La misma estaba constituida por nueve cortos lienzos de distinta orientación que entre sus requiebros permitían el acomodo de un pequeño edificio (alojamiento del capellán y, más tarde, cuartel de artillería). Al abrigo del mismo muro, pero partiendo de menor altura, se encontraba un edificio de mayores dimensiones, planta rectangular y cuatro pisos de altura que sirvió de cuartel.
El castillo de Santa Isabel dejó de prestar servicio en 1867, aunque fue utilizado esporádicamente en años posteriores. La plataforma artillera, principal elemento del castillo, fue destruida por los trabajos emprendidos en la primera mitad del siglo XX para mejorar el canal de entrada al puerto. Actualmente alberga una residencia privada.