Il palazzo Palagonia, sorto a ridosso del castello, fu fatto costruire nel 1705 da Don Ignazio Sebastiano Gravina, come attestano le iscrizioni sulle lapidi, poste ai lati dell'ingresso principale. Fu ultimato nel 1710, come si può leggere sul timpano del balcone laterale sinistro.
E' in armoniose forme settecentesche: si sviluppa serrato, in alto, da una forte cornice a balaustra con mensole e ai lati da saldi speroni piramidali,  sovrastati da balconi angolari su mensole scolpite.
Alla fine dell'ottocento il palazzo subì le prime modifiche: le pericolanti balaustre dei balconi furono sostituite da ringhiere in ferro; le finestre inferiori furono trasformate in porte d'accesso ai locali interni.
L'unica finestra che ha mantenuto intatto il suo aspetto originario si può osservare sul lato sinistro del palazzo.