Pan oedd yn blentyn, caeth Cesar Picton ei gipio o Senegal, gwneud yn gaeth a daethpwyd enw newydd. Fu gweithio fel gwas bach dros John Philipps (fu farw 1764) yng Nghastell Picton. Ar ôl ei ddatgaethiwo, symudodd i Kingston upon Thames ac yn troi i berchennog tai a thir cyfoethog.