Dewiswyd safle adeiladu'r Abaty yn ofalus iawn. Gorwedda'r tir yng nghysgod llethrau isaf mynydd Margam, ac i'r gogledd-ddwyrain o fryngaer segur. Uwchlaw'r Abaty, roedd dwy nant yn cydlifo i ffurfio pwll pysgod mynachaidd. Defnyddiwyd dŵr y pwll i ddarparu llif cyson i ddraenio adeiladau domestig yr abaty.