Neben seiner eigenen künstlerischen Tätigkeit hat Lothar Fischer früh begonnen sich mit Werken anderer Künstler und Kulturen auseinander zu setzen und diese zu sammeln. Dabei galt sein Interesse immer der bildnerischen Form, die seiner Meinung nach den eigentlichen Ausdruck eines Kunstwerkes ausmacht, der größtenteils beim Machen spontan, emotional und selbstverständlich entsteht. Im Laufe der Jahre wuchs eine sehr persönliche Sammlung, die ca. 300 Arbeiten, darunter Plastiken, Gemälde und Papierarbeiten vor allem der deutschen Kunst der 60er, 70er, 80er und 90er Jahre sowie außereuropäische Bildwerke beinhaltet. Sie wird auszugsweise im Obergeschoss in einem eigens dafür vorgesehenen Ausstellungsraum unter Berücksichtigung thematischer Bezüge mit den Wechselausstellungen zu sehen sein.
 
Lothar und Christel Fischer haben nur selten Arbeiten in Galerien erworben. Der Großteil der Objekte gelangte als Geschenk oder im Tausch mit Künstler-
freunden in ihren Besitz. Während der Zusammen-
arbeit der Münchner Gruppe Spur (1958-1965) war es üblich, Bildwerke untereinander zu tauschen. So kam etwa Heimrad Prems bedeutende Leinwand Weg von 1959 oder Sich erneuernde Göttin von 1964, die zeitgleich mit Fischers Plastik Sich Wiederholende entstand, in die Sammlung.