En 1595, con el objeto de controlar la entrada y salida de mercancías del reino, se le encargó al ing. Pedro de Bustamante una torre situada en Amatique, pero un año después fue destruida por los piratas y, por tal motivo el castillo fue trasladado al sitio que ocupa actualmente.

En 1643 fue bautizado como San Felipe en honor del príncipe reinante: Felipe II de España. Sin embargo fue incendiado, en 1666, por el pirata Yáñez, rehabilitándose, después de 7 meses por el ing. Andrés de Urbina; pero pese a todo, el castillo siguió siendo víctima de ataques hasta que fue abandonado.