Propiedad del matrimonio formado por don Fernando María Pastor y Marqués y doña Filomena Garelly y Valier. Al no tener descendencia, decidieron donar su palacio con la finalidad de ser convertido en asilo y colegio para los niños necesitados en 1892. El asilo fue nombrado Sagrada Familia y, junto al edificio, se inauguró una hermosa capilla de estilo neogótico. El edificio funcionó como colegio hasta 1971.
Hoy en día, el palacio funciona como centro de día, mientras que la capilla fue restaurada para la visita.