En los años de máximo esplendor debió ser una fortaleza inexpugnable, gracias a su ubicación sobre un promontorio  rocoso, que posee unos 30-60º de pendiente. En el lado sur se asoma a un precipicio. Se cree que pudo haber pertenecido a unos monjes-guerreros musulmanes, pues su etimología así lo indica.

Fué conquistado por el Cid, en 1090, fecha a partir de la cual, se tienen más datos. Fue cabeza de una gran demarcación territorial hoy repartida entre los municipios de Benlloch, Cabanes y Torreblanca. Jaume I cede el castillo a favor del Obispo de Tortosa, allá por el año 1233, por la ayuda prestada en la conquista del territorio. Quien realizó una profunda reforma en el mismo, para ser abandonado siglos más tarde y  anexionado junto con el castillo de Albalat a Cabanes.

Su distribución muestra un doble recinto amurallado inferior, donde se ubicaba parte de la antigua población y la iglesia dedicada a San Martín y San Bartolomé, así lo demuestran los restos encontrados. La zona más débil se protegía con un foso artificial. Actualmente, el estado es ruinoso, pero aún así se encuentran restos interesantes de su antigua estructura: muros laterales  defensas previas, restos de torres y algunas dependencias internas y almenas. También se conservan varios arcos apuntados y de medio punto, lo que nos lleva a pensar que son de su periodo más reciente, cristiano y gótico.