Es un castillo pequeño pero muy estratégico, que domina todo el valle de Guadalest hasta el mar. El nombre de la edificación deriva del de la alquería musulmana del rey Al-Azrac, origen del actual Confrides. Tras ser conquistado por Jaume I en 1264, el castillo fue donado a Vidal de Sarrià como un enclave fundamental en la salvaguarda de las comunicaciones entre La Marina y la Foia d’Alcoi, aunque a partir de entonces sufrió una profunda reforma. Sus posteriores propietarios serían la familia Sarriá, el infante Pedro y las familias Cardona y Ariza. Tuvo un destacado papel durante las revueltas de moriscos, que opusieron una fuerte resistencia armada al decreto de expulsión de 1609, refugiándose en las montañas de la Vall de Laguart.
A pesar de hallarse en ruinas, aún pueden observarse una gran cantidad de elementos del castillo. De su recinto exterior sólo se conservan unos pocos lienzos, que incluyen una torre cuadrada y otra circular, fundados sobre los riscos de la cumbre. El recinto interior es de mayores dimensiones, y su murallaalmenada -en la que se abre la puerta de acceso bajo arco de medio punto- se refuerza con otras dos torres, también una circular y otra cuadrada.
De origen musulmán, debió ser profundamente reformado tras la conquista cristiana.