Adeiladwyd Castell Pencelli i ddechrau tua 1080 OC gan Bernard de Newnarch fel strwythur mwnt a beili i amddiffyn y rhan honno o ddyffryn Wysg. Dros y canrifoedd dilynol newidiodd ddwylo sawl gwaith trwy wrthdaro. Gan nad oedd wedi'i adeiladu ar ben bryn roedd yn anodd ei amddiffyn, yn enwedig ar ôl i bowdr gwn gael ei ddefnyddio'n helaeth, a daeth yn segur yn y 14eg ganrif. Mae'r gamlas yn dilyn rhan o'r ffos wreiddiol. Credir bod y maenordy Elisabeth presennol yn rhan o gapel St Leonard a safai o fewn muriau'r castell.