Cred fod y castell fechan yma (dim ond y tomen sydd ar ol) wedi ei adeiladu gan Maelgwn Gwynedd i reoli croesi'r Afon Conwy yn y pen dwyrain yma o ffordd hynafol a Rhufeinig (a'i defnyddiwyd hefyd gan y porthmyn i nofio da-byw dros yr afon pan fo'r llanw allan) ac mae'n esgeuluso'r bont ffordd modern dros Y Conwy, a cymerodd yr hen fferi. Nad oes hanes yrgrifennol o'r castell yma. Mae tomen y castell wedi ei rhan dinistro yn ystod adeiladu'r bont.