Tvrz v centru Čachrova byla postavena v letech 1380 až 1390 Vilémem z Čachrova.
Mohutná věž čachrovské tvrze je dodnes dominantou obce, nicméně je obklopena velkým množstvím vzrostlých stromů, které ji zastiňují.
Mohutná věžovitá stavba čtvercového půdorysu byla původně obklopena vodním příkopem a hradbou. V polovině patnáctého století byla tvrz připojena k velhartickému panství Děpolta z Týzmberka, byla opuštěna a postupně zpustla. Po rozpadu velhartického panství v polovině šestnáctého století se Čachrov stal opět samostatným statkem a tvrz bya postupně opravena.
V druhé polovině 18. století se z tvrze stala sýpka a v okolí byl vystavěn barokní zámek, který však v roce 1933 vyhořel.Pozůstatky byly zbořeny v 70. letech 20. století.
Pod tvrzí se vinou podzemní chodby, údajně mnohakilometrové, které jsou opředeny mnoha tajemstvími.
V současné době je tvrz v soukromém vlastnictví a je nepřístupná.