Il Palazzo è un complesso signorile costruito ad inizio del seicento dai Conti Cesi. L'imponente struttura si caratterizza per torri dalla forma quadrata posizionate agli angoli. Oggi sono rimaste solo tre delle quattro torri essendo stata abbattuta quella di sud est per motivi di sicurezza. Le torri hanno luci quadrate, colombaie in cotto e copertura a padiglione.

All'interno della corte è stata costruita una cappella dedicata alla Beata Vergine, mentre a levante si trova una ulteriore torre cilindrica costruita nel 1650 che ospita una scala a chiocciola.

Solo in parte la fastosità dei suoi interni con finiture e affreschi di pregio è sopravvissuta al trascorrere del tempo.