Cafodd Joe Taylor ei eni ym Maryland, UDA ar 26 Ionawr 1874, a bu fyw yn Llandudno am 40 mlynedd gan fagu 5 o ferched yma. Credir bod rhieni Joe yn gaethweision, cafodd Joe ei eni yn Prince George County, lle cafodd caethwasiaeth ei wahardd 9 mlynedd yn unig cyn i Joe gael ei eni.

Credir bod Joe wedi ymgartrefu yn Llandudno ym 1898 fel hyfforddwr bocsio yn y Gampfa Fictoraidd yn Back Madoc Street. Rhwng 1898 a 1904, trefnodd nifer o ddigwyddiadau ‘adloniant’ bocsio yn Llandudno.

Ym 1906 dechreuodd Joe ymwneud â hyfforddi’r tîm pêl-droed lleol, y Llandudno Celts. Roedd tîm y Celts yn eithaf ifanc a daeth Joe yn ffigwr tadol iddynt. Datblygodd ei arferion hyfforddi ei hun a brofwyd yn llwyddiannus, gan arwain Joe i ddod yn is-gadeirydd y clwb (hynod o anarferol ar y pryd gan fod Joe yn ddyn du). Ynghyd â hyn, roedd Joe yn gweithio yn Warws Dunphy’s.