Objekt penzionu Čáslava má dlouhou historii. První zmínky, které uvádí Vlastivěda moravská jsou z roku 1758, kdy zde byl postaven panský ovčín – tvrz. Tato stavba tvoří základ dnešního penzionu a je vedena jako kulturní památka.

Samotné místo má ale mnohem starší historii, kdy se zde po prohrané bitvě na Bílé hoře tajně scházeli pronásledovaní protestanti. V době po tolerančním patentu se  vážně uvažovalo, že  panský ovčín Čáslava bude přestavěn na evangelickou modlitebnu.