Tot aan de Tweede Wereldoorlog wordt de oude dorpsherberg “de Verwachting” gebruikt als verenigingslokaal. De Duitsers nemen de herberg in beslag en na de inundatie blijft het verwoest achter. In 1951 wordt er met financiële bijdrages van het Rijk, provincie, gemeente en giften van de hulpactie Scheldenmonden, een nieuw verenigingslokaal, café, winkel en woonhuis gebouwd. In 1952 wordt “Ons Dorpsleven” officieel geopend. Bij notariële akte wordt vastgelegd dat bij overdracht in de eerste honderd jaar geen andere bestemming aan het gebouw mag worden gegeven.

Tijdens de jaren die volgen wordt er intensief gebruik gemaakt van het dorpshuis door de vele verenigingen in Ritthem. Na de dood van de toenmalige beheerder Albert Dijkstra wordt het pand in 1994 gerenoveerd en in 1998 gaat het beheer over naar Michel de Bree die de taak vervult tot 2011.