Das Gemälde „Oskar Maria Graf“von Georg Schrimpf gehörte bis 1934 zur Kunstsammlung des jüdischen Rechtsanwalts Dr. Ismar Littmann (1878-1934), der mit seiner Familie in Breslau lebte. Littmann gehörte zum kulturell engagierten Bürgertum der Stadt und wurde als bedeutender Sammler und Mäzen bekannt. Seine Kollektion mit dem Schwerpunkt Expressionismus umfasste mehr als 340 Gemälde und 5.700 Grafiken. Häufig erwarb er die Arbeiten direkt von den Künstler*innen.
Das Gemälde von Schrimpf ist in Littmanns Sammlung spätestens seit 1929 nachweisbar. 1930 wurde es mit weiteren Werken der Sammlung im „Haus Albert und Toni Neisser“ in Breslau ausgestellt. Im gleichen Jahr hinterlegte Littmann einen Teil seiner Kunstwerke im Rahmen einer Sicherheitsübereignung bei der Sparkasse in Breslau, vermutlich zur Erlangung eines Kredits. Darunter war auch Schrimpfs Gemälde. Der Sammler hatte das Recht, die Werke innerhalb einer bestimmten Frist wieder auszulösen; einen Teil des Konvoluts erhielt er bis 1932 zurück. Das Bildnis Oskar Maria Graf verblieb bei der Bank.
Nach der nationalsozialistischen Machtübernahme 1933 gerieten Ismar Littmann und seine Familie unter den Druck antisemitischer Verfolgung. Als jüdischer Rechtsanwalt war er Repressalien, Ausgrenzung und Gewalt ausgesetzt. Im Juni 1933 erhielt er ein Berufsverbot. Angesichts des Verlusts seiner wirtschaftlichen Existenz und der aussichtslosen Situation beging er 1934 Suizid. Seine Witwe Käthe Littmann verwaltete das verbliebene Vermögen und die Sammlung. Sie konnte gemeinsam mit ihren Kindern emigrieren.
Ein Teil der Sammlung Littmann wurde im Februar 1935 im Berliner Auktionshaus Max Perl versteigert, darunter auch Werke aus der Sicherheitsübereignung der Sparkasse Breslau. Schrimpfs Porträt Oskar Maria Graf wurde mutmaßlich im Zuge dieser Auktion an einen unbekannten Käufer veräußert.
Die Erben der Familie Littmann führen seit den 1960er Jahren Verfahren um Wiedergutmachung, Rückerstattung und Restitution der Kunstsammlung. Es wurden mehrere Gemälde restituiert, unter anderem durch die Staatlichen Museen zu Berlin, die Stadt Köln (Museum Ludwig) und das Kunstmuseum Bern.
Das Gemälde ist Gegenstand einer laufenden Provenienzuntersuchung. Die Umstände des Verlusts sind bislang nicht vollständig geklärt.