Seine Lage südlich von Dumfries, nahe der Grenze zu England, machte es stets zum beliebten Ziel für Überfälle und Angriffe. Im Besucherzentrum wird die Geschichte einer dieser Belagerungen erzählt.
Einer der englischen Grafen kam mal wieder auf die Idee mit einer Armee nach Norden zu ziehen. Eins seiner ersten Ziele war Caerlaverock Castle. Also baute man die Belagerungsmaschinerie auf, und die Armee des Engländers begann mit dem Beschuß der Burg. Mehrere Tage war kein Erfolg in Sicht. Die Belagerten schoßen zurück und die Engländer mußten herbe Verluste einstecken.
Jedoch ergaben sich die Belagerten nach einigen Tagen, wie es den Engländern erschien, grundlos. Es stellte sich jedoch heraus, daß nur ein dutzend Krieger, die sonst leere Burg, gegen eine ganze Armee verteidigt hatten. Erst als einer von ihnen durch ein Geschoß verletzt wurde gaben sie auf.
Diese Tapferkeit wurde selbst von den Angreifern gewürdigt, und so kamen die Schotten mit dem Leben davon.

Heute ist ein Teil des alten Gemäuers eingestürzt und auch das was noch steht wird ohne Restaurierung bald in sich zusammenfallen. Einige Wände sind "leicht" schief und die Tür- und Fensterstürze zum Teil verschoben. Historic Scottland bemüht sich jedoch auch hier um die Erhaltung.