Der Kreuzberger Kaufmann Paul Krämer begann im Jahr 1922 mit dem Bau einer Villa, um sein Geld vor der Inflation zu retten. Als das Erdgeschoss des Gebäudes als Rohbau stand, stockte der Bau. Krämer starb 1924. Die ehemalige Gemeinde Klüppelberg kaufte daraufhin den Rohbau, das Gelände und das vorhandene Baumaterial, um im fertiggestellten Gebäude Arme, Waisen und Invaliden der Gemeinde unterzubringen. Außerdem sollte ein Raum für den evangelischen Gottesdienst eingerichtet werden. Da die Maßnahme letztendlich auch durch die Zivilgemeinde nicht zu finanzieren war, wurde der Gesamtkomplex Ende 1925 an die Neusser Augustinerinnen als Erholungsheim für Schwestern und Haushaltungspensionat verkauft. Anfang 1926 wurde das Gebäude bezogen. Der Zweck änderte sich allerdings wiederum. Bis Anfang der 40er Jahre betreuten die Neusser Augustinerinnen psychisch beeinträchtigte Frauen im Kloster. Dann wurde im Kloster ein Altersheim eingerichtet, hauptsächlich wiederum für Frauen. Fast 40 Seniorenheimplätze wurden geschaffen.
Die Schwestern der Neusser Augustinerinnen waren sehr in das dörfliche und kirchliche Leben auf Kreuzberg einbezogen. So erfolgte die ab 1. Juli 1947 eingeführte Schulspeisung durch die Küchenschwester des Klosters. Essensausgabe war im Klosterhof. Das Kloster war zeitweise „Gemeindeschwesterstation“. Viele werden sich z. B. noch an Schwester Ruth erinnern. Und die erste Leiterin des heutigen Kreuzberger Kindergartens kam ebenfalls aus dem Kloster, Schwester Lamberta. Die Schwestern der Neusser Augustinerinnen haben das Seniorenheim und damit das Liebfrauenkloster Kreuzberg im Jahr 2000 zum großen Bedauern des Dorfes geschlossen. Einige der Schwestern haben im Laufe der Jahrzehnte ihre letzte Ruhestätte auf dem Kreuzberger Friedhof gefunden. Ihre Grabstätte wird durch das Dorf gepflegt.
Für einige Jahre zog danach eine Jugendpflegeeinrichtung in das Klostergebäude.
Seit 2008 betreibt die Therapie- und Lebensgemeinschaft Armbrüster im ehemaligen Klostergebäude eine Einrichtung der Eingliederungshilfe für Erwachsene.