Ymddiswyddodd David Lloyd George fel Prif Weinidog ym mis Hydref 1922 wedi i'r glymblaid rhwng y Rhyddfrydwyr a'r Ceidwadwyr ddadfeilio. Roedd e'n 59 mlwydd oed ar y pryd ac nid oedd i ddod yn agos at unrhyw swydd o awdurdod byth eto. Wedi gadael swydd y Prif Weinidog a llywodraeth ceisiodd Lloyd George ail-adeiladau'r Blaid Ryddfrydol. Yr oedd honno erbyn hyn mewn sefyllfa druenus iawn. Yn Etholiad 1923 enillodd 157 sedd, yn Hydref 1924 ni enillodd ond 40 sedd. Er ail-uno ni ddaeth diwedd ar y chwerwder personol rhwng carfan Lloyd Geroge a charfan Asquith, chwerwder a ganolbwyntiai'n aml iawn ar gronfa wleidyddol bersonol Lloyd George. Trwy'r 1920au ceisiodd yntau adfywio'r blaid trwy gyflwyno polisau newydd yn gyson ar faterion fel diwydiant, y tir, ynni a diweithdra. Yn Etholiad Cyffredinol 1929 ymgyrchodd Lloyd George yn galed ar y polisau newydd hyn, ond ni ennillodd y Rhydfrydwyr ond 59 sedd. Erbyn Etholiad Cyffredinol 1931 yr oedd y mwyafrif o'r Blaid Rhyddfrydol wedi troi cefn arno gan ei adael ond yn arweinydd ar grwp o bedwar aelod "teuluol"- ef ei hun, Megan (ei ferch), Gwilym (ei fab) a Goronwy Owen (brawd-yng-nghyfraith Gwilym).