
Fu fatto costruire su ordine del duca Francesco IV che scelse Pavullo per la facilità con cui era raggiungibile da Modena grazie alla Via Giardini. Fu progettato da Sante Cavani, ingegnere, matematico e professore dei Cadetti Matematici Pionieri, secondo i modelli neoclassici del tempo con un minuzioso impianto simmetrico di nove aperture per piano. I lavori iniziarono nel 1830 ma procedettero molto lentamente. Nel 1844 la costruzione del palazzo non era ancora stata ultimata, così quando nel 1846 Francesco V succedette al padre, utilizzò la costruzione come residenza estiva per poco più di un decennio fino all'Unità d'Italia. In questo periodo furono ospiti i reali Infanti di Spagna, Don Giovanni e Maria Beatrice, l'Imperatrice Maria Anna d'Austria, il Re di Sassonia, il granduca di Toscana e la principessa Augusta di Baviera. Fu ristrutturato nel 1882 per fare posto agli uffici della Prefettura e del Tribunale, e nel 1985 per destinare il piano terreno a Galleria d'Arte.
Attualmente ospita al piano terreno la Galleria d'Arte Contemporanea e gli uffici Cultura, Sport, Turismo e tempo libero, al primo piano gli uffici dell'Edilizia Privata e Urbanistica e la Direzione Didattica, al secondo la Biblioteca comunale "G. Santini" e nei sotterranei la "Galleria dei Sotterranei".