Herzogsägmühle war von 1934 bis 1945 unter der Trägerschaft des Landesverbandes für Wander- und Heimatdienst ein Instrument einer Gesundheitspolitik des "Ausmerzens" und fungierte auch als "Sammel- und Sichtungsstation" und zentrale Verteilungsstelle innerhalb eines Netzwerkes von Einrichtungen zwischen NS-Terrorapparat, Strafvollzug, Gesundheitsfürsorge und Psychiatrie. Das NS-Regime duldete keine sozialen "Minderleister". Arme Menschen wurden, wenn sie den Fürsorgeeinrichtungen zur Last fielen, als sozial minderwertig eingestuft und verfolgt.

Während der elf Jahre des Bestehens des Landesverbandes für Wander- und Heimatdienst durchliefen 10.000 bis 12.000 hilfsbedürftige Jugendliche und Erwachsene die so genannten "arbeitsfürsorgerischen Maßnahmen". Aufgrund eines sehr lückenhaften Nachlasses können dazu nur ungefähre Angaben gemacht werden. Für Herzogsägmühle ist bekannt, dass von diesen Menschen mindestens 430 Männer den Aufenthalt nicht überlebten.

Anlässlich des 125-jährigen Bestehens wurde für die Menschen, die unter dieser Zwangsherrschaft zu leiden hatten oder zu Tode kamen, in Herzogsägmühle ein Ort der Erinnerung geschaffen und am 20. November 2019 der Öffentlichkeit übergeben. Museumspädagogische Umsetzungen und das Gedenkbuch sorgen dafür, dass die Erinnerung an die Verbrechen aus der nationalsozialistischen Zeit lebendig bleiben und Information über, sowie Empathie für die Opfer ermöglicht wird.

Konzeption und Umsetzung des "Ort der Erinnerung" wurden durch die Fachberatung Heimatpflege des Bezirks Oberbayern unterstützt.