La chiesa di San Ruffillo, rione periferico situato attorno alla strada postale per la Toscana nei pressi del ponte sul Savena, viene ricostruita tra il 1817 e il 1819 a spese dell'arciprete Luigi Piazza, su disegno di Vincenzo Vannini (1791-1873).

L'architetto e ingegnere bolognese, autore di numerosi monumenti sepolcrali alla Certosa, la rende "ampia e di migliore stile che non è la facciata".

Il sacro edificio, risalente al X secolo, era già stato completamente rinnovato nel 1618. Nel corso del XVIII secolo furono eseguiti altri lavori, in particolare la maestosa facciata in stile tardo barocco (1771). 

L'edificazione di un nuovo campanile sul lato sud occupò parecchi anni tra il Sei e il Settecento. I lavori terminarono nel 1723, ma la guglia sarà posata solo nel 1903.

Nel corso della Seconda guerra mondiale la chiesa sarà bombardata e semidistrutta. La ricostruzione sarà completata solo in occasione della Decennale del 1956.