W wieku XIX po rozwiązaniu zgromadzenia mansjonarzy budynek popadł w ruinę.