Retrouver des motifs similaires entre images d’art à l’aide du Deep Learning

2016 Visual Link Retrieval in a Database of Paintings
Retrouver les motifs similaires entre image d’art à l’aide du Deep Learning
Présentation par Nicolas Gonthier

Benoit Seguin, Carlotta Striolo, Isabella diLenardo et Frederic Kaplan, Visual Link Retrieval in a Database of Paintings.

lien vers l’article

Dans cet article de recherche, l’équipe de recherche du DHLAB propose un algorithme permettant de retrouver des motifs visuellement similaires entre images d’art comme vous pouvez le voir (ci-dessous)

Il s’agit d’un algorithme basé sur l’apprentissage profond, la manière dont celui-ci fonctionne est la suivante : l’algorithme permet de définir une distance entre deux images, cette distance sera faible si deux images représentent le même motif et grande sinon. Pour obtenir un tel algorithme, on lui fournit des groupes de  3 images contenant deux images visuellement proches et un éloignée, accompagné de cette information, le réseau de neurones profonds va être capable de définir la fonction mathématiques que représentent cette distance. Ensuite, il n’y a plus qu’à calculer les distances entre les images dans la collection en ligne.

Cependant il a fallu fournir à l’algorithme, un certain nombre de liens de similarité visuelle pour qu’il soit capable d’effectuer la même tâche.

Ce qui est remarquable avec cet algorithme c’est qu’il est capable de fonctionner avec plusieurs modalités d’images différentes (c’est à dire de la peinture, du dessin au trait etc).

Vous pouvez trouver le démonstrateur en ligne ici.

Ainsi qu’un vidéo de présentation de Benoît Seguin aux Lundis du Numérique INHA.