Han sido diversas las civilizaciones asentadas en Castielfabib, desde poblados íberos, pasando por un periodo romano (Castrum- Fabii), y posteriormente el periodo árabe (CastilAl´Habib) que finalizará con la conquista por parte de Pedro II de Aragón, en 1210. Sin embargo, en el siglo XIV, durante los enfrentamientos entre las coronas de Aragón y Castilla, es cuando la población de Castielfabib y su castillo juegan un papel relevante fortificándose la población. Quedan abundantes elementos visibles en la actualidad dispersos por la población.