Nodwyd yn 'Tywyslyfr y Fwrdeistref', a gyhoeddwyd gan Gyngor Tref Aberystwyth a Chwmni Edward J Burrows, fod hanes ysgrifenedig y dref yn dechrau pan adeiladwyd caer adeg Harri'r I (AD 1109) gan Gilbert de Strongbow, Iarll Cas-gwent. Gorchfygwyd a dinistrwyd y gaer gan Maelgwyn Gwynedd ond cafodd ei hail-adeiladu gan Edward I. Rhoddwyd caniatâd Brenhinol i berchennog mwynfeydd plwm ag arian lleol i sefydlu bathdy preifat yn y castell rhwng 1638 a 1642. Chwalwyd y castell gan y Seneddwyr ar ddiwedd y Rhyfel Cartref. Dim ond rhannau o'r ddau dŵr crwn a'r gorthwr fu unwaith yn enfawr sydd yno bellach. Erbyn hyn mae copa'r castell wedi ei amgylchynu â llwybrau llydan sy'n rhoi golygfeydd arbennig. I'r gogledd gwelir aber afon Ddyfi, Cader Idris a'r mynyddoedd sydd o'i amgylch. I'r de gwelir bryniau Sir Benfro. Rhwng y ddau mae Aberystwyth 'yn gryno a phrydferth'.