CNN et recherche de schémas visuels

2016 Visual Patterns Discovery
CNN et recherche de schémas visuels
Présentation par Olivier Bonfait

Isabelladi Lenardo, Benoit Seguin, Frédéric Kaplan, Visual Patterns Discovery in Large Databases of Painting.

Lien vers le document

Ce document est le résumé d’une communication présentée au colloque Digital humanities 2016, tenu à Cracovie (Krakow, du 11 au 16 juillet).

Le projet et son principe

Le projet fait partie du programme Replica (DHLAB,  EPFL, Lausanne), qui s’appuie sur la numérisation du million de photographies de la fondation Cini de Venise (39 000 images à la date de l’article sont digitalisées). Il consiste en la recherche d’un système pour reconnaître les schémas visuels d’une image, en s’appuyant sur les progrès faits ces dernières années dans les reconnaissances de schémas visuels dans les images avec un CNN.

Pour cette opération, chaque image de la base de données a été associée à 1000 paramètres (le vecteur de caractéristique ou signature), qui permettent un haut degré de classification. Le système fonctionne par ressemblance de schéma visuel : à chaque image proposée, il renvoie les images pour lesquelles il trouve un schéma visuel proche, selon leur plus ou moins grand voisinage.

Cependant, les similitudes entre images peuvent établies à différents niveaux (répétition d’un motif comme des fleurs, même disposition des lumières et des ombres, schéma de compositions semblable, etc. ).

Afin d’améliorer les réponses, il est possible et nécessaire d’utiliser des formules algébriques en additionnant ou retirant des exemples.

Exemples de requêtes

– Requête d’un motif pictural : Un Bouquet de fleurs de Juan de Arellano (1614-1676), un peintre de fleurs caractéristique du XVIIe siècle.

Comme le système renvoie également des peintures comme celles de Regnier ou de Gentileschi qui ont une même répartition des lumières, dans un second temps, il est demandé de soustraire les images proches du mauvais résultat. La suite d’images fournie est alors presque totalement  exacte, et elle inclut même un tableau de Daniel Seghers, comportant des fleurs, mais dans une disposition différente.

– Requête d’un schéma de composition : La Galerie de l’archiduc Léopold de David Teniers. Le tableau est caractéristique des représentations de collection, et la demande s’apparente à celle d’analogie de structure formelle  (des peintures avec des formes carrées dans un rectangle), aussi la première réponse renvoie d’autres tableaux avec des motifs carrés dans une peinture, telle que Le Départ des Ambassadeurs de Vittore Carpaccio. C’est par une suite d’addition d’exemples pertinents et de soustraction de mauvaises réponses que l’on obtient un ensemble de bons résultats.

Commentaire

Un des plus de cet article est qu’il s’appuie sur des lectures et des connaissances en histoire de l’art et cherche à répondre à des demandes d’histoire de l’art.