Objekt penzionu Čáslava má dlouhou historii. První zmínky, které uvádí Vlastivěda moravská, jsou z roku 1758, kdy zde byl postaven panský ovčín - tvrz. Tato stavba tvoří základ dnešního penzionu a je vedena jako kulturní památka.
Samotné místo má ale mnohem starší historii, kdy se zde po prohrané bitvě na Bílé hoře tajně scházeli pronásledovaní protestanti. V době po tolerančním patentu se vážně uvažovalo, že panský ovčín Čáslava bude přestavěn na evangelickou modlitebnu. Od 18. století patřil objekt místnímu selskému rodu Šínů.
V 50. letech minulého století byl majitel pan Jaroslav Šín odsouzen v politicky inscenovaných procesech k 10 letům vězení, majetek byl zabaven komunisty a rodina vystěhována.
V roce 2012 získali potomci původních majitelů objekt zpět v dezolátním stavu. Přestože byl památkově chráněn, z části stavby zbyly pouze ruiny a nedaly se již opravit, v tomto místě nyní naleznete ohniště a pískoviště.
V roce 2013 byla zahájena rekonstrukce stavby a její přebudování na penzion, který zahájil činnost v lednu 2015. Veškeré náklady na rekonstrukci zaplatili majitelé, nebyly čerpány žádné dotace z evropských nebo regionálních fondů, ani podpora z památkového ústavu. Dnes jsme na to hrdí.