Adeiladwyd Carchar Rhuthun ym 1775, yn ôl cynlluniau'r pensaer Joseph Turner o Gaer, fel carchar model. Diben yr adeilad hyd 1866 oedd bod yn garchar sir. Pan basiwyd Deddf Carchar 1865 penderfynwyd ymestyn y carchar a dywedir y gallai ddal o gwmpas 100 o garcharorion. Ym 1878 aeth Carchar Sir Rhuthun yn Garchar Rhuthun Ei Mawrhydi ac arhosodd yn garchar am 38 mlynedd arall, hyd 1916. Ym 1926 prynodd Cyngor Sir Ddinbych yr adeiladau gan Gomisiynwyr y Carchar gan eu haddasu i'w defnyddio fel swyddfeydd a llyfrgell. Yn y blynyddoedd diwethaf addaswyd ac adnewyddwyd y carchar fel atynfa i ymwelwyr ac mae erbyn hyn yn gartref i swyddfa cofnodion Sir Ddinbych.