Fue construido en el año 1598 en las proximidades del cabo de Higuer con la intención de luchar contra la piratería. Tenía planta rectangular, formando los lados orientados hacia el mar una batería con capacidad para cinco cañones. El resto del castillo está constituido por dos construcciones rectangulares perpendiculares entre sí, unidas por uno de sus lados menores a un edificio cuadrangular de mayor altura.
En 1755 el Rey Fernando VI mandó construir "...fuera de los muros de la Plaza de Fuenterrabia un Almazen sencillo para trasladar a el la polvora que actualmente se custodia en los que hay en la referida Plaza...", eligiéndose para su emplazamiento el castillo de San Telmo "... por ser el paraxe mas a proposito para ello como por el duplicado beneficio... de restablecer aquel Puesto que la injuria del tiempo y un incendio tenia casi arruinado, siendo tanto mas conveniente su conservacion, quanto por que su bateria defiende el surgidero de aquella ensenada..."
A la estructura ya descrita solamente se añadió un muro cuya misión era aislar del exterior los dos lienzos del torreón que formaban parte del perímetro del castillo. Este muro fue dotado de dos garitas de vigilancia y de un pequeño sector aspillerado.
La entrada, situada en la pared meridional, da acceso a un estrecho pasaje que desembocaba en la puerta primitiva. Grabado en su dintel, bajo las armas reales, puede leerse "PHILIPVS II HISP INDIAR Q REX / AD REPRIMENDA PIRRATARVM I LATROCINIA / HOC SANTERMI CASTELLUM EXTTUERE MANDANIT / ANO DOM -MDXCVIIII / SIENDO DON JVAN VELAZQUEZ CAPN GN DE ESTA PROA". Durante muchos años ha servido de residencia privada.