Se alza en un montículo rocoso, dominando visualmente todo el entorno. Término nació con clara función defensiva, como punto fuerte avanzado de Castilla y siempre mantuvo este sentido. Al este del pueblo, sobre un montículo rocoso, se alzan todavía restos del castillo consistentes en la torre del homenaje.
El emplazamiento de la fortaleza de halla en un punto céntrico entre los desfiladeros de Pancorbo, Sobrón y la subida hacia el puerto de Orduña. Por supuesto, domina por completo el paso sobre el Ebro. Su posesión resultó fundamentalmente para el dominio del señorío de Vizcaya. Hasta la definitiva incorporación de Alava a Castilla, la fortaleza de Santa Gadea del Cid defendió, en ocasiones , la zona fronteriza de la disputada Navarra.
Los restos conservados son del siglo XV, edificación atribuida a Pedro López Manrique. La torre del homenaje es el elemento más llamativo, con una altura de seis metros. Su planta es alargada e irregular. Quedan dos cubos huecos, lienzos de la muralla y dos de sus tres puertas. De las antiguas murallas que partían del castillo sólo se conservan partes de lienzo.
La muralla además del carácter defensivo para ataques bélicos, también ejercía como tal, para ladrones, contrabandistas y garantizaba la paz del mercado y el cobro de impuestos para acceder al mismo. Fueron paso obligado para quienes seguían el camino a Bilbao.