Saif Cefn Ydfa mewn man uchel ar ochr y bryn sy'n ymestyn allan tua'r gogledd-ddwyrain o fynydd Baedan ar ochr orllewinol Cwm Llynfi. Dyma'r lle sy'n rhoi ei enw i chwedl y Ferch o Gefn Ydfa. Yn ôl y sôn, gorfodwyd morwyn o'r enw Ann Thomas i briodi yn erbyn ei hewyllys a bu farw o hiraeth am ei gwir gariad. Cafodd ei gorfodi i briodi Anthony Maddocks o deulu cefnog yn hytrach na Wil Hopcyn, y bardd a'r töwr. Fe'u gwaharddwyd rhag canlyn ei gilydd, ond parhaodd y berthynas trwy gyfrwng llythyrau caru cyfrinachol. Ar ôl cael eu dal, fe gymrodd mam Ann ei hoffer ysgrifennu i gyd oddi arni. Heb ddyfodol i'w perthynas, gadawodd Wil Hopcyn yr ardal ac aeth Ann ymlaen i briodi Anthony Maddocks. Dywedir bod Ann yn hiraethu cymaint am ei chariad nes torri ei chalon a'i tharo'n ddifrifol wael. Ar ei gwely angau, gofynnodd am gael gweld Wil ac wedi iddo gyrraedd, bu farw yn ei freichiau. Mae Wil ac Ann wedi'u claddu yn Eglwys Llangynwyd.