Saif Castell y Barri ar safle Rufeinig-Brydeinig yn rhan orllewinol y dref. Adeiladwyd llawer o’r castell yn y drydedd ganrif ar ddeg a’r bedwaredd ganrif ar ddeg, ac mae’n debygol mai’r teulu de Barry gwnaeth hwn. Roedd y teulu hwn yn rheoli'n lleol a gymerodd ei henw o'r anheddiad. Mae’r castell wedi gweld newid sylweddol dros y blynyddoedd, gan gael ei drawsnewid yn ysgubor yn ystod y ddeunawfed neu’r bedwaredd ganrif ar bymtheg. Tua'r amser hwn, dymchwelwyd y wal ddwyreiniol i raddau helaeth, ac o ganlyniad, cafodd ei ddyddio i'r cyfnod canoloesol ac arwain at ddarganfod arteffactau Rhufeinig. Daeth newid mawr i’r castell yn ystod yr ugeinfed ganrif a ddifrododd yr adeilad gwreiddiol ymhellach a chafodd tai eu adeiladu o amgylch. Fodd bynnag, daeth hyn hefyd â chyfleoedd i archeolegwyr a haneswyr ehangu eu gwybodaeth am y safle. Difrodwyd cornel dde-orllewinol y castell trwy loches oddi wrth ymosodiad awyr gael ei hadeiladu yn yr Ail Ryfel Byd, ond hefyd darganfuwyd sylfeini tafarn o’r unfed ganrif ar bymtheg. Gwelodd y 1960au ddarganfyddiadau pwysig i’r castell, gyda darganfod olion aelwyd a phwll o’r ddeuddegfed ganrif. Wrth i ffosydd ceblau gael eu cloddio ym 1960 a 1979, gwnaed darganfyddiadau archeolegol pellach o'r waliau. Er gwaethaf yr holl newid i’r castell yn y cyfnod diweddar, mae’r porthdy yn parhau i fod yn dirnod lleol pwysig hyd heddiw.