Digital Provenance Research: Eine computerassistierte Bildersuche

Das Projekt

German Sales ist für die Provenienzforschung essenziell, da die Datenbank Zugang zu Tausenden von Auktions- und Verkaufskatalogen gewährt. Diese geben Einblicke in den Kunstmarkt des 20. Jahrhunderts, machen Objektverkäufe transparent und enthalten teilweise auch Informationen zu Preisen, Einlieferer:innen und Käufer:innen. Die Kataloge sind aktuell im Volltext durchsuchbar. Obwohl dieser Zugang einen enormen Mehrwert darstellt, können sich verändernde Objekttitel oder Künstler:innenzuschreibungen die Suche erschweren. Vor diesem Hintergrund wurde das hier vorgestellte Projekt ins Leben gerufen. In Zusammenarbeit zwischen dem Department Digital Humanities and Social Studies und dem Pattern Recognition Lab der Friedrich-Alexander-Universität Erlangen-Nürnberg wurde getestet, inwiefern sich Methoden aus dem Bereich der Bilderkennung nutzen lassen, um Abbildungen in Katalogen anhand von Suchbildern wiederzufinden. Durch die bildbasierte Suche soll ein weiterer, komplementärer Zugang zum Quellenmaterial geschaffen werden.

Gemälde Ludwig von Zumbusch, 1896 - verschiedene Titel: Römische Ideallandschaft, Landschaft mit Birken und Pappeln, Einsames Land
Abb. 1 zeigt das Problem der sich verändernden Titel, welches das Projekt motiviert hat.

Mithilfe eines neuronalen Netzes zur Objektdetektion werden dafür zunächst die Abbildungen in den Katalogen erkannt und ausgeschnitten. Abbildung 2 verdeutlicht diese Erkennung anhand einer beispielhaften Katalogseite. Anschließend werden visuelle Merkmale dieser Bildausschnitte extrahiert und in einer Datenbank abgelegt, damit sie später für die Bildersuche verwendet werden können (Abb. 3). Vom ausgewählten Suchbild werden ebenfalls die Merkmale extrahiert und mit den in der Datenbank gespeicherten Merkmalen verglichen. Schließlich werden die Bilder angezeigt, deren Merkmale denen des Suchbildes am ähnlichsten sind. Dieses Suchverfahren ist für die Provenienzforschung von großem Wert, da es einen zusätzlichen, schnellen Zugang zum Quellenmaterial schafft, der unabhängig von sich verändernden Titel- oder Künstler:innenzuschreibungen ist. Darüber hinaus lässt sich das Verfahren auch auf andere Quellen ausweiten, beispielsweise auf Ausstellungskataloge, Werkverzeichnisse, Kunstzeitschriften oder Primärmarktquellen. Neben der Rekonstruktion der Provenienz kann das Verfahren auch bei der Beantwortung anderer Fragestellungen helfen, beispielsweise wenn es um die Schwerpunkte von Auktionshäusern, den Zeitgeschmack, die Preisentwicklung, Objektbewegungen oder Bildähnlichkeiten geht.

Reproduktion vierer Gemälde auf der Seite eines Auktionskatalogs
Abb. 2: Vom Detektionsnetzwerk erkannte Abbildungen.
Flussdiagramm
Abb. 3: Der aktuelle Workflow mit den einzelnen Schritten. Hier nicht abgebildet ist das Retrieval auf Basis der extrahierten Merkmale (Suchbild und Bildsammlung)

Projektstand

Derzeit wird mit einer Datenbasis von 111 Katalogen gearbeitet, in denen mehr als 3.500 Abbildungen erkannt und extrahiert wurden. Für die Detektion der Abbildungen wurde ein YOLOv8-Erkennungsnetzwerk verwendet, das mit Hilfe 148 annotierter Katalogseiten trainiert wurde. Für die Merkmalsextraktion wurde wiederum ein Netzwerk mit ResNet50-Architektur verwendet, das auf ImageNet trainiert wurde. Weitere Informationen zur Methode finden Sie in unserem Beitrag zur Digital-Humanities-Konferenz im deutschsprachigen Raum 2025.

Blick in die Zukunft

Wir arbeiten derzeit weiter an dem Projekt, wobei vor allem die Erweiterung des Datensatzes, das Hosting der Suchoberfläche sowie die Suche nach 3D-Objekten und multimodalen Suchen im Fokus stehen. Zudem sollen die Schritte eins und zwei im Workflow, nämlich die Gewinnung der Kataloge, durch die Schnittstelle der UB Heidelberg erfolgen.

Das Projektteam

Sabine Lang ist wissenschaftliche Mitarbeiterin am Department Digital Humanities and Social Studies (DHSS) der FAU Erlangen-Nürnberg. Ihre Forschung beschäftigt sich mit der Anwendung digitaler Methoden für die Kunstgeschichte und Provenienzforschung, vor allem mit der Bild-und Objekterkennung, und der Dokumentation und Repräsentation von Provenienzlücken im Digitalen. Bevor ihrer Tätigkeit am DHSS absolvierte die promovierte Kunsthistorikerin u.a. ein Volontariat an einem Auktionshaus und war als selbstständige Provenienzforscherin tätig.

Mathias Zinnen ist wissenschaftlicher Mitarbeiter am Lehrstuhl für Mustererkennung der FAU Erlangen-Nürnberg. Er studierte Philosophie, Geschichte und Informatik in Mainz, Berlin und Erlangen. Von 2021–2024 war er am Bilderkennungsteam des Odeuropa Projekts beteiligt. Dort hat er sich mit der automatischen Extraktion von Geruchsreferenzen aus historischen Gemälden mit Hilfe von Computer Vision befasst hat. Aktuell berät er Sammlungsverantwortliche im Rahmen des SODa Projekts zur Anwendung von Methoden des maschinellen Sehens in der Forschung mit Sammlungsdaten. Seine Forschungsschwerpunkte liegen auf Objekterkennung, Posenschätzung und Texterkennung.

Publikationen

Vorträge

zur Demonstration

Wir freuen uns sehr über Feedback! Wenn Sie an einem ähnlichen Projekt arbeiten, würden wir uns auch über eine Kontaktaufnahme freuen: sab.lang@fau.de oder mathias.zinnen@fau.de.