Roedd ystad Aberpergwm yn eiddo i deulu'r Willams ac yn gorwedd tua 1/2 y filltir o dref Glyn-nedd yng Nghwm Nedd. Cymerodd y Willaims berchenogaeth o'r Tŷ tua 1560 a bu fyw yno tan tua'r 1900. Yn 1940 Daeth y tŷ yn ysgol i blant byddar a dall Dwyrain Angliaidd a wagwyd yno yn ystod yr ail ryfel byd. Ar ôl y rhyfel cymerwyd y Tŷ drosodd fel swyddfeydd gan y NCB. Yn anffodus, dymchwelwyd y tŷ wedyn, cafodd ei ddymchwel ac nid oedd unrhyw un yn gadael ei waith.