Mae'r castell cyntaf yng Nghastell-nedd yn dyddio o'r 12fed ganrif a Robert, Iarll Caerloyw a'i adeiladodd. Yn ystod yr 13eg ganrif fe ymosododd y Cymry arno drosodd a thro ac fe'i ailwampiwyd yn yr 14eg ganrif. Dyna pryd yr adeiladwyd y porthdy a welir yn y ffotograff hwn.