Deep learning et identification d’objets sur la base Art UK

2014 In search of Art
Deep learning et identification d’objets sur la base Art UK

Présentation par Nicolas Gonthier

Elliot J. Crowley et Andrew ZIsserman, In Search of Art
lien vers l’article

En vue d’améliorer la fonction de recherche sur Art UK et d’enrichir l’expérience utilisateur, Art UK a mené quelques expérimentations avec l’équipe de recherche en vision par ordinateur “Visual Geometry Group” de l’Université d’Oxford. Vous pouvez trouver ici un bref résumé des résultats positifs et intéressants de cette collaboration.

Le programme Tagger (https://artuk.org/participate/tag-artworks) consistait à faire ajouter des mot-clés associés aux peintures de la collection britannique ArtUK de manière collaborative. Suite à ce programme, le professeur Andrew Zisserman et son équipe ont travaillé avec Art UK et la BBC (lié à Art UK) pour développer un logiciel innovant de reconnaissance d’images permettant d’identifier les sujets dans les peintures. En utilisant les quelque 3,5 millions d’étiquettes fournies par les taggeurs, l’équipe de recherche d’Oxford a pu obtenir un logiciel de reconnaissance d’images pour reconnaître les mots-clés les plus fréquents. Bien que les résultats d’un tel algorithme soit bons, ils ne sont pas parfaits, il a donc été nécessaire de faire valider ses mots-clés de manière collaborative par des contributeurs du projet Tagger. Cependant cela a permis d’enrichir les méta-données des images d’Art UK comme cela peut être vu sur le site (cf l’image en dessous). Si vous souhaitez en savoir plus à ce sujet : https://artuk.org/about/blog/the-art-of-computer-recognition

L’étape suivante fut donc de fournir un mot de recherche textuel dans la base d’images d’art Art UK. Pour ce faire Crowley et Zisserman ont proposé dans leur article de recherche In Search of Art  un algorithme permettant de rechercher n’importe quel mot dans une base d’images.

Il y a plusieurs résultats remarquables dans cet article de recherche. Tout d’abord, les CNN (convolutional neural network) produisent des résultats bien meilleurs que les anciennes méthodes de Vision par ordinateur (tel que Fisher Vector) pour la classification d’images d’art. De plus, il est possible de transférer la capacité de classification (de tri) des CNN des photographies aux images d’art sans une très grande perte de performance. Enfin, il est possible d’utiliser des CNN paramétrés (entraînés) sur des images issues de Google Images pour classifier (trier) des images d’art.

Enfin une application d’un tel outil est de pouvoir observer l’évolution de la représentation de certains éléments au cours du temps. Cela est fait dans le papier de recherche à propos de la barbe, du train ou du cheval (voir image ci-dessous). Il est même possible d’appliquer une transformation mathématique à l’image pour que toutes les images soient orientées selon le même point de vue pour encore mieux comparer l’objet d’intérêt, comme c’est le cas pour les images de trains (figure 6 de l’article de recherche).

Nous allons maintenant décrire brièvement la manière dont fonctionne l’algorithme de recherche à la volée proposé dans cet article de recherche.

Etant donné un mot clé, l’algorithme va chercher une centaine d’images correspondant à ce mot sur Google Images Search. Sur ces images, il va calculer une “signature” (un ensemble de caractéristiques qu’une peinture pourrait avoir et qui indiquerait la présence du mot-clé et codifié mathématiquement) à l’aide d’un réseau de neurones profonds dont les paramètres ont été définis sur une tâche de classification de photographies, et la même opération est réalisée sur  des images ne contenant pas le mot clé. On va ensuite paramétrer un algorithme de sorte à ce qu’il soit capable de faire le tri entre ses deux groupes d’images, on va ensuite calculer la signature des images que l’on souhaite traiter (cela peut être fait une fois pour toute). Enfin l’algorithme de tri est appliqué sur ces signatures pour savoir si les images d’art contiennent ou non le mot clé que l’on recherche. Ce qui fait la force de cet algorithme c’est qu’il peut permettre de chercher n’importe quel mot-clé et qu’il est extrêmement rapide.

Vous pouvez trouver le démonstrateur en ligne ici, nous vous encourageons à jouer avec : http://zeus.robots.ox.ac.uk/artsearch/ ainsi que les instructions à suivre en anglais : http://zeus.robots.ox.ac.uk/artsearch/?tour=1

Notons qu’une version améliorée de leur algorithme est proposée dans un second article de recherche (https://homepages.inf.ed.ac.uk/ecrowley/publications/pdfs/crowley16.pdf), cette fois ce sont des regions (zones de l’image ) qui sont utilisés pour permettre de trouver des petits objets dans les images.

Nicolas Gonthier