Merch Elizabeth Pughe (ne Williams) a David Roberts Pughe, a sister John Pughe (Ioan ab Hu Feddyg) a David William Pughe oedd Eliza Pughe. Caeth hi ei geni'n byddar. Fel rhan ei haddysg gartref, fu creu geiriadur â darluniau er mwyn cyfathrebu efo bobl o'i hamgylch. Mae'r geiriadur unigryw hwn yn cyfuno'i darluniau efo geiriad Saesneg ac weithiau'r Gymraeg a chofnod trwyadl o amgylch ei hoes ydy o. Caeth y rhwymiad ei greu gan Ebenezer Thomas (Ebben Fardd), cyfaill agos ei brawd John.