Roedd y fryngaer hon yn ddymunol iawn fel safle amddiffynnol, ac mae wedi ei meddiannu ers y 5ed ganrif o leiaf.
Tua 1108, cododd Robert FitzMartin, Arglwydd Cemmaes faer bren yma fel rhan o Goncwest Normanaidd Sir Benfro. Ailadeiladwyd y Castell gan ddefnyddio carreg gan ei fab William yn ddiweddarach.
Erbyn hynny yr oedd yr Arglwydd Gruffydd ap Rhys wedi ailgipio'r ardal; fodd bynnag, priododd William ei ferch, Angharad, ac felly ailfeddiannodd y Castell.