Si tratta di un edificio antico che compare già nelle carte del 1600, isolato su una collina fuori dalle mura. Nulla conosciamo dell'architetto che l'ha progettato mentre sappiamo che, nel corso dei secoli, ha avuto vari proprietari: un certo Giuseppe Serra, i conti Masini, i marchesi Ghini mentre ora è di proprietà comunale.

L’edificio ha una fama inquietante e viene chiamato “Palazzaccio” o “Palazzo del Diavolo”. La leggenda narra che si tratterebbe di una delle due parti di un palazzo fatto costruire dal Diavolo in persona come residenza di due suoi figli. I due, tuttavia, litigavano in continuazione per le più svariate ragioni e si rivolgevano continuamente al padre accusandosi l’un l’altro finchè il Diavolo, stanco di questi litigi e di dover sempre intervenire per calmare i due figli, decise di separarli, spezzò in due parti l'edificio e ne collocò una parte a Cesena e l'altra non si sa dove. In effetti, oggi forse ancor più che in passato, l’edificio appare incongruo rispetto al contesto delle case che lo circondano, proprio come calato dall’alto per un prodigio.

Ovviamente quella del Diavolo e dei suoi due figli è una leggenda originata dall'aspetto tetro del palazzo e dalla sua strana conformazione che presenta su un lato due serie di grandi denti come se l’edificio avesse fatto parte di una struttura più ampia. In varie località italiane come Torino, Curtatone (MN), Milano, Firenze, Trento, Sorgà (VR) ci sono altri “Palazzi del Diavolo”