Rhestrwyd y tŷ a'r stad gyntaf fel maenor Jacobeaidd yn ystod y 1600au ac fe'i hailadeiladwyd ym 1775. Ail-fodelwyd yr adeilad rhwng 1836-40 ond arweiniodd tân trychinebus at ailadeiladu'r plasty presennol yn 1898. Perchnogion nodedig oedd y Gwynne Holfords a oedd yn cymwynaswyr mawr yn yr ardal gyda James yn dod yn Uchel Siryf Sir Frycheiniog yn 1857 ac yn AS rhwng 1870 a 1880. Ailadeiladwyd eglwys Llansantffread yn gyfan gwbl gan deulu Gwynne Holford ac mae eu cofeb deuluol yn adeiladwaith amlwg yn y fynwent yn edrych dros yr A40 Ar ôl ei farwolaeth ym 1916 gwerthwyd yr ystad yn y pen draw gyda llawer o ffermydd a thai â thenantiaid ynghyd â phedair milltir o bysgota ar hyd afon Wysg Roedd hwn wedi'i brynu'n rhannol gan Henry Seymour Berry, yn hynod lwyddiannus gŵr busnes ac amlfiliwnydd a wnaed yn Arglwydd Buckland o'r Bwlch ym 1926. Ar wahân i gynnal digwyddiadau moethus ar ei ystâd, a oedd yn cynnwys cwrs golff a gerddi enwog, rhoddodd yn hael i brosiectau lleol gan gynnwys Ysbyty Coffa Rhyfel Aberhonddu. Yn 1928 cafodd ei ladd mewn damwain marchogaeth ar y stad.

Gyda dyfodiad yr Ail Ryfel Byd feddiannodd y Swyddfa Ryfel y plasty a'r tiroedd ac yn dilyn meddiannaeth ddinistriol iawn gan filwyr Canada daeth yn ysbyty milwrol. Ym 1941 dychwelodd y teulu Llewellyn, oedd wedi prynu'r stad yn 1935, i ganfod eu heiddo yn y fath gyflwr nes iddynt ei werthu i'r Swyddfa Ryfel a'i drosglwyddodd i'r Lleng Brydeinig yn 1951. Newidiwyd yr enw i Crossfield House a pharhaodd fel cartref gofal i gyn-filwyr tan 1985 pan gaeodd oherwydd bod niferoedd yn lleihau.