La familia Nebrija aparece como una de las más importantes de Brozas en el siglo XVI. El comendador Marcelo de Nebrija, hijo del insigne gramático Antonio de Nebrija, construyó un palacio en las cercanías del castillo de la Encomienda Mayor que fue convertido en convento a mediados del siglo XVI. Se trata de un gran edificio (desvirtuado bastante a partir de la Desamortización) en el que podemos encontrar un claustro renacentista con el escudo de Nebrija, la antigua iglesia conventual (hoy Auditorio) y restos de la fachada principal del palacio, con inscripciones y lemas vitales de esta familia.
Actualmente edificio municipal visitable