La storia di questo monumento comincia quando Gravina entra a far parte del piano difensivo di Federico II di Svevia che ordina, nella città, la costruzione di un maniero in stile romanico- pugliese. L’intento del sovrano era di dotare Gravina di una vedetta militare e di rafforzare la linea difensiva che di qui giungeva a Castel del Monte. Allo stesso tempo il maniero offriva all’imperatore la possibilità di dedicarsi alla sua passione per l’arte venatoria. Egli definì così la città: “Grana dat et Vina, Urbs opulenta Gravina”, citazione presente sullo stemma della città.