Safai Cynffig ar ymyl tir corsiog yn wreiddiol fel yr awgryma'r hen enw 'Cefn y Ffignon'. Datblygwyd y dref gan y Normaniaid gyda'r bwriad o'i throi'n ganolfan fasnachu ar gyfer Morgannwg Ganol oherwydd y cysylltiad â'r môr. Ond yn ôl yr hanes, roedd y tywod symudol yn gwneud bywyd yn anodd os nad yn amhosib i'r trigolion, ac erbyn diwedd y bymthegfed ganrif, roedd yn dref anghyfannedd. Symudwydd yr eglwys fesul carreg, ac mae'n sefyll bellach ym mhentref y Pîl. Yr unig olion o Gastell Cynffig ar ôl heddiw yw copa'r gorthwr 50 troedfedd, a ddadorchuddiwyd ddechrau'r ugeinfed ganrif.