rapport pierrot

LEMAIRE M2R Informatique Pierre Intelligence Artificielle Etude de la pertinence topologique des descripteurs d’images utilisés dans les algorithmes de détection devisages par apprentissageStage réalisé dans le laboratoire de « Grenoble Images Parole Signal et Automatique » (GIPSA Lab) au département « Image et Signal » au sein de l’équipe « Géométrie, Perception,Images et Geste » du 01/02/2008 au 26/06/2008Maîtres de stage : Alice CaplierThomas Burger- 2 -AbstractAutomatic detection of faces in images is a main interest in Computer Vision , on which. Appearance-Based Methods have shown high efficiency [1]. These methods use the Machine-Learning approach, which mostly consist in extracting features from pixels intensity prior to a classification. Classically, evaluations of this kind of detectors are based on rating detections using a huge dataset [24]. In this paper, we are interested in evaluating the features involved in such algorithms. We propose a qualitative comparison between the Rowley et al. detector [6] and the implementation of the Viola & Jones [7] and Lienhart & Maydt [8] detector used in OpenCV, which are two detectors based on machine learning algorithms. First we compare them in a theoretical way and expose the difficulty of considering features independently to classifiers. Then, we define what we call features in those detectors. Based on those observations, we also propose a novel approach for constituting a new detector based on the complementary interesting aspects of the two considered algorithms. Then, we give a methodology to analyze the topology of the face class within the feature-space for both detectors. This latter is mainly based on the selection of a reduced but relevant set of images including faces, and the use of One-Class SVMs [23]. We finally discuss the use of such kinds of features within the face detection problem.- 3 -AbstractLa détection automatique de visages dans les images occupe une place importante dans le domaine de la vision par ordinateur. Les algorithmes de détection par apprentissage sont souvent cités pour leurs performances [1]. Ils fonctionnent généralement sur le principe d’une description-classification basée sur l’intensité des pixels de l’image originale. Habituellement, ils sont évalués de manière globale, grâce à un apprentissage puis un test statistique de détections sur de larges bases d’images [24]. Dans ce document, nous nous proposons d’évaluer de manière plus spécifique les descripteurs impliqués dans de tels algorithmes. A cet effet, nous comparons qualitativement le détecteur de Rowley et al. [6] à l’implémentation incluse dans OpenCV du détecteur de Viola & Jones [7] et Lienhart & Maydt [8]. Dans un premier temps, nous comparons ces deux détecteurs analytiquement, et discutons de la difficulté d’aborder séparément le problème de la description de celui de la classification dans le cadre de tels algorithmes. A partir de ces observations, nous définissons l’ensemble des descripteurs considéré pour chacun des deux détecteurs. Nous posons également des hypothèses pour la mise en place d’un nouveau détecteur sur la base des deux détecteurs étudiés dans ce document. Nous proposons ensuite une méthodologie pour l’analyse de la topologie de la classe des visages dans l’espace engendré par les descripteurs. Cette dernière utilise notamment la sélection de corpus restreints mais néanmoins représentatifs et la méthode des One-Class SVM [23]. Nous concluons sur le choix fait dans ces algorithmes de la forme des descripteurs employés vis-à-vis duproblème de la détection de visages en général.- 4 -Table des MatièresI INTRODUCTION ............................................................................................................................................ I-6 II LE PROBLEME DE LA DETECTION DE VISAGES ............................................................................... I I-7II.1)L A DETECTION DE VISAGES EN GENERAL................................................................................................. II-7 II.1.a)Pourquoi détecter des visages ..................................................................................................... II-7 II.1.b)Les difficultés rencontrées ........................................................................................................... II-7 II.2)L ES TYPES DE DETECTEURS..................................................................................................................... II-8 II.3)L ES ALGORITHMES PAR APPRENTISSAGE ................................................................................................. II-9 II.3.a)Les algorithmes existants ............................................................................................................ II-9III FONCTIONNEMENT DE 2 DETECTEURS DE VISAGES : ROWLEY ET OPENCV .................... III-11III.1)P RINCIPE GENERAL DE LA DETECTION DE VISAGES PAR APPRENTISSAGE.............................................. I II-11 III.1.a)Description et classification ..................................................................................................... I II-11 III.1.b)Principe général d'un détecteur ............................................................................................... I II-11 III.2)L E D ETECTEUR DE VISAGES DE R OWLEY ............................................................................................. I II-12 III.3)O PEN CV .............................................................................................................................................. I II-15 IV COMPARAISON THEORIQUE DES DEUX ALGORITHMES ........................................................... IV-20 IV.1)E XPRESSION DU DETECTEUR D'O PEN CV AVEC LE DETECTEUR DE R OWLEY......................................... I V-20 IV.2)E XPRESSION DU DETECTEUR DE R OWLEY AVEC LE DETECTEUR D’O PEN CV ........................................ I V-21 IV.3)Q UALITES ET FAIBLESSES DES 2 DETECTEURS ...................................................................................... I V-22 V LA DESCRIPTION DANS OPENCV ET ROWLEY ................................................................................ V-25V.1)C OMMENT DEFINIR LA QUALITE D'UNE DESCRIPTION ............................................................................ V-25 V.2)C ONSTITUTION DES CORPUS.................................................................................................................. V-26 V.3)N ORMALISATION DES IMAGES DE TEST.................................................................................................. V-29 V.4)E VOLUTION DE LA DESCRIPTION PAR RAPPORT AUX CHANGEMENTS DE LOCALISATION ET D'ECHELLE . V-31 V.5)O NE-C LASS S UPPORT-V ECTOR M ACHINES (O NE-C LASS SVM) ........................................................... V-32 VI CONCLUSION ............................................................................................................................................ VI-34 VII REMERCIEMENTS .................................................................................................................................. V II-35VIII BIBLIOGRAPHIE ................................................................................................................................... VIII-36- 5 -I IntroductionDans le domaine de la vision par ordinateur, on peut distinguer deux grandes classes de problèmes : la reconnaissance de formes (ou d’objets), et la détection d’objets. Plus particulièrement, la détection et la reconnaissance de visages font l’objet d’états de l’art avancés. Si ces deux spécialités semblent proches par leurs problématiques, elles sont paradoxalement éloignées dans leur approche. A savoir que la recherche dans le domaine de la reconnaissance de visages fait état d’une forte expertise dans la caractérisation (la description) des visages. La recherche dans le domaine de la détection de visages concentre quant à elle ses efforts sur la mise au point de systèmes de classification complexes, utilisés comme des « boîtes noires », et constituant eux-mêmes leur apprentissage. Ainsi, l’évaluation des algorithmes de détection de visages consiste généralement en une mise en concurrence des systèmes de classification et d’apprentissage sur des bases d’images conséquentes, de manière statistique (à l’instar de [24]). Si les performances des méthodes classiques de classification (SVM, Réseaux de Neurones Artificiels, AdaBooost par exemple) sont connues d’un point de vue théorique, peu de travaux s’intéressent à la pertinence des descripteurs par rapport aux problèmes de reconnaissance et de détection de visage indépendamment de la classification.Dans ce document, nous nous proposons d’aborder le problème de la détection de visages de manière plus qualitative, en nous attachant au problème de la description des visages au travers des détecteurs. Plus particulièrement, nous nous intéressons à la topologie de la classe visage dans l’espace engendré par un ensemble de descripteurs. Cette caractérisation passe par l’utilisation d’outils statistiques non bayesiens afin de s’affranchir des problèmes d’apprentissage. L’étude de ces aspects pourrait mener à de nouvelles pistes quant à l’élaboration de détecteurs plus performants.Dans la deuxième partie, nous nous intéressons au problème de la détection de visages d’une manière générale. Dans la troisième partie, nous nous intéressons au fonctionnement des détecteurs de Rowley [6] et d’OpenCV [7] [8]. Dans la quatrième partie, nous comparons ces deux détecteurs de manière analytique. Enfin, nous proposons une évaluation des aspects de description mis en place par ces deux détecteurs.- 6 -II Le problème de la détection de visagesII.1)La détection de visages en généralII.1.a)Pourquoi détecter des visagesDe la téléphonie à l’informatique privée, en passant par les applications de vidéo-surveillance, l’exploitation de base de données d’images, la détection d’objets dans des images possède de nombreuses applications dans les domaines de l’informatique. Plus particulièrement, la détection de visages en est un champ d’application difficile, en raison notamment de la multiplicité des morphologies et des expressions envisageables. De par ses nombreuses applications, directes ou indirectes, la détection de visages est donc un champ d’investigations primordial dans le domaine de la vision par ordinateur et du traitement d’images. Ses champs d’application s’élargissent, avec la multiplication des moyens de capture d’images et la sophistication de ces derniers (appareils photos numériques, caméras intégrées aux téléphones portables, etc.). Citons par exemple diverses applications « classiques » de biométrie [16] [17], diverses applications du ressort de l’Interface Homme machine (IHM) [25], des applications de reconnaissances de gestes [18], la détection de sourires dans les appareils photos récents, les outils de suivi de visages par des webcams motorisées, la recherche de visages dans des grandes bases de données, etc.II.1.b)Les difficultés rencontréesLa détection de visage, de manière spécifique, est confrontée à de multiples difficultés, résumées par les points suivants.La pose. Le visage n'est pas forcément face à la caméra et peut être pris sous différents angles. Cette variance peut entraîner l’occultation totale ou partielle d'éléments du visage, tels que le nez, la bouche, les yeux, etc. par d’autres éléments du visage.La présence ou l'absence de composantes structurelles. Parmi celles-ci, on peut compter la barbe, les lunettes, la moustache, etc. Ces composantes, n'étant pas systématiquement présentes, elles apportent de la variance.L’expression du visage. Chez une même personne, des éléments comme la bouche, les yeux ainsi que la distance les séparant peuvent être sujets à de grandes variations d’une image à l’autre, selon les expressions employées.La morphologie. De même qu’avec les expressions du visage, les éléments du visage ainsi que leurs proportions peuvent connaître d’importantes variations d’une personne à l’autre.Les occultations. Le visage peut être masqué à l’image par d’autres objets, d’autres visages, etc., ce qui entraîne une perte d’informations.L’orientation de l’image. Le visage peut être sujet à rotations par rapport à l’axe optique de la caméra (visage « incliné » dans l’image : têtes penchées, cadrage incliné, etc.).Les conditions de prise de l’image. L’éclairage (orientation, puissance, mais aussi nature du spectre lumineux), ainsi que les spécifications de la caméra affectent l’apparence d’un- 7 -visage.La compression. Les déformations engendrées par un algorithme de compression affectent également l’apparence d’un visage.A ces difficultés s’ajoutent le temps de calcul et la puissance disponibles pour la détection. Ainsi, il est nécessaire de définir les besoins et les conditions d’utilisation d’un détecteur. C’est la raison pour laquelle de nombreux types de détecteurs existent.II.2)Les types de détecteursTout d’abord, il est nécessaire de faire la différence entre détection, suivi et reconnaissance, ces mots apparaissant fréquemment sous le terme de « détection » mais désignant des notions différentes. Le suivi part de l'a priori selon lequel il existe un visage dans l'image analysée. Cet a priori est généralement accompagné d'autres a priori sur la taille et la position du visage dans l'image. Le suivi est avant tout adapté aux flux vidéos ne comprenant qu'un seul visage, ou éventuellement plusieurs de taille proche. Ces solutions sont généralement utilisées pour leur simplicité et leur rapidité de calcul. La détection, quant à elle, ne pose pas d'a priori sur la position, la taille, la présence ni le nombre de visages présents dans l'image. Elle est adaptée à l'analyse de scènes complexes (visages multiples et à différentes échelles, sous différentes conditions d'éclairage...). Elle est cependant généralement plus gourmande en temps de calcul. La reconnaissance réfère au fait de désigner, d’après un visage préalablement localisé dans une image, la personne correspondante. Elle a besoin d’être précédée par une étape de suivi ou de détection.Il est ensuite essentiel de définir la qualité d’une détection.Par « détection positive », nous entendons une détection qui pointe une zone qui se rattache effectivement à un visage (resserrée dans une certaine mesure autour des yeux et de la bouche notamment).Par « faux-positif » (également fausse-alarme), nous entendons une zone indiquée par le détecteur qui ne se rattache pas à un visage, selon la définition que nous venons d’en donner.Par « non-détection », nous entendons un visage dans l’image qui n’a pas été pointé par le détecteur.La Figure 1 met en évidence de telles notions.M.-H. Yang [1] distingue les détecteurs en plusieurs catégories dont voici les grandes lignes.- Knowledge-BasedCe type de détecteurs consiste en une transcription des connaissances humaines à propos de ce qui constitue l’image d’un visage. Par exemple, [2] cherche dans l’image une zone claire sur laquelle se positionnent des zones sombres (correspondant à la bouche, aux yeux, etc.) suivant certaines règles géométriques. Ce type d’algorithmes, assez anciens, est principalement adapté au suivi et ne fait pas état de performances exceptionnelles.- Détection par invariantsCes algorithmes sont basés sur la recherche d’invariants, indépendants de la pose, du- 8 -point de vue, des conditions d’éclairage, de l’expression, etc… Parmi eux, on peut compter nombre de détecteurs basés sur la teinte de la peau (détection de « blobs » de couleur chair). D’autres détecteurs se basent sur la texture de la peau [3]. De nouveau, ils sont principalement utilisés pour le suivi de visages et non pour la détection. Ils doivent en effet généralement faire l’objet d’un apprentissage en fonction des conditions d’éclairage et de morphologie.- Template MatchingCes méthodes se basent sur une image « standard » d’un visage, nommée « pattern ». Une corrélation est calculée entre l’image et le pattern du visage ou des éléments du visage (yeux, bouche, contour du visage, etc.). Ce type d’algorithme est adapté au suivi comme à la détection de visages. Cependant, la gestion de poses et d’expressions différentes demeure délicate, puisque elles doivent être plus ou moins explicitées humainement lors de la création du pattern.- Algorithmes par ApprentissageAu contraire de tous les algorithmes précédemment cités, les algorithmes par apprentissage constituent eux-mêmes les modèles qu’ils utilisent dans leur recherche. Ces algorithmes sont basés avant tout sur des méthodes d’analyse statistique et sur des algorithmes de classification, et sont destinés principalement à de la détection. Le principe est de considérer une fenêtre de n pixels comme un ensemble de n descripteurs (cf III.1.a)). L’application d’un algorithme de classification permet donc de décider si la fenêtre en question représente un visage ou non. Ces algorithmes requièrent une large base d’apprentissage pour être mis au point.Etant donné que ces derniers algorithmes offrent des performances élevées au niveau de la détection de visages, et qu’ils bénéficient des dernières évolutions en terme d’état de l’art, nous concentrons nos études sur les algorithmes de détection par apprentissage. Nous ne nous intéressons également qu’à la détection de visages dits de face, c’est-à-dire des visages sur lesquels, sans d’éventuelles occultations, les yeux, le nez et la bouche sont visibles.Figure 1 Exemples d’une détection positive, d’une non-détection par le détecteur deRowley (image de gauche) et d’un faux-positif par le détecteur d’OpenCV (image dedroite). Les visages détectés automatiquement par l’un ou l’autre algorithme sontsymbolisés par un rectangle les encadrant.II.3)Les algorithmes par apprentissageII.3.a)Les algorithmes existantsParmi les algorithmes par apprentissage les plus cités, on peut mentionner :- 9 -Eigenfaces [4]. Recherche de vecteurs propres puis approximation de ces derniers par une matrice d’autocorrélation (utilisation d’un réseau de neurones artificiels à cet effet).Fisherfaces [5]. Classification sur la base d’une analyse linéaire discriminante.Rowley[6]. Basé sur une série de perceptrons multicouches, cet algorithme offre de bonnes performances, spécialement par rapport à son très faible nombre de faux-positifs.Celui-ci est décrit en détails par la suite (III.2)).Viola & Jones [7]. Cet algorithme est basé sur un classifieur de type Adaboost [9]. Il est conçu pour permettre des performances conséquentes en minimisant le nombre d’opérations nécessaires à une classification. OpenCV, l’un des détecteurs les plus employés, base son algorithme sur la méthode proposée par Viola & Jones, améliorée par Lienhart & Maydt [8]. Dans la partie III.3), nous détaillons son implémentation au sein de la librairie OpenCV.SNoW[10]. Ce détecteur utilise un réseau d’entités booléennes (comparaison d’une combinaison linéaire avec un seuil), dont le nombre de connexions est restreint. Cette méthode est basée sur les « Sparse Networks of Winnow » [26]Convolutional Face Finder (CFF) [11]. Cet algorithme utilise un réseau de neurones à convolutions, c’est-à-dire un réseau de neurones dont les entrées sont définies à partir de convolutions sur les pixels de l’image à analyser. Il est reconnu pour ses hautes performances et son très faible taux de faux positifs, mais son code est fermé.L’ensemble de ces détecteurs base sa recherche sur une image en niveau de gris, et fait donc état d’une grande robustesse vis-à-vis des conditions d’acquisition et d’éclairage.a)Les algorithmes retenus pour la suite des travauxParmi les publications récentes de détecteurs comme [11], on retrouve notamment des comparaisons par rapport aux performances de Viola & Jones, OpenCV, SNoW, et du détecteur de Rowley [24]. Leurs performances sont semble-t-il bien supérieures à celles d’algorithmes plus anciens comme Eigenfaces et Fisherfaces. De plus, ils comptent parmi les premiers algorithmes à utiliser des bases de tests et d’apprentissage standardisées, ce qui permet d’avoir une base de résultats comparables.Or, au contraire de SNoW et CFF, OpenCV et Rowley sont disponibles intégralement en open-source. De plus, leurs performances indiquent d’une part une robustesse élevée de Rowley aux faux-positifs, ainsi qu’un fort taux de détection de la part d’OpenCV. Ces deux détecteurs peuvent donc sembler complémentaires sur le plan des performances, et semblent relever de qualités différentes. Enfin, dans chacun des cas, comme on le verra, les techniques de description (cf III.1.a)) sont de philosophie proche, à savoir une description simple couplée à une classification relativement pointue. L’utilisation d’une classification pointue couplée à une description simple peut sembler discutable : les algorithmes de reconnaissance de visage mettent justement l’accent sur la caractérisation des visages. L’étude conjointe des détecteurs d’OpenCV et de Rowley pourrait donc permettre de valider ou d’invalider un tel choix.- 10 -III Fonctionnement de 2 détecteurs de visages : Rowley et OpenCVIII.1) Principe général de la détection de visages par apprentissageIII.1.a) Description et classification A échelle fixe, un détecteur doit, à partir d’une image, déterminer si elle représente de manière exclusive un visage ou non. Cette étape, un choix binaire, fait intervenir les notions de classifieur et de descripteur. A des fins de reconnaissance de forme, un algorithme a besoin de séparer les informations dont il dispose en plusieurs classes, c’est-à-dire de les classer. A cet effet, l’algorithme peut être amené à exécuter une série de décisions préalables. Dans ce cas, ces décisions précédentes sont utilisées en tant qu’informations, au même titre que les informations originales nécessaires à la décision. Une classification a donc besoin de synthétiser les informations, potentiellement hétéroclites, dont elle dispose. Cette synthèse est appelée description, figurée par un ou plusieurs descripteurs : un descripteur est un résumé de « haut niveau » d’informations diverses. Idéalement, il est choisi par le classifieur en fonction de sa pertinence. Descripteurs et classifieurs sont donc intimement liés, organisés au sein d’une certaine hiérarchie dépendant du résultat souhaité. Notons que toute information est déjà une description d’elle-même. Pour mettre en évidence ces principes de description et de classification, prenons l’exemple d’un audiophile qui souhaite organiser sa musique. Il va la classer selon ses besoins, à partir des informations dont il dispose (artistes, dates, perception de la musique, etc.). A chacune des catégories (classes) qu’il veut utiliser, il associe une description, qu’il juge la plus pertinente. Par exemple, à sa classification « Jazz », il associe, de manière tout à fait subjective, la transcription de ce qu’il perçoit en une description de haut niveau : « Musique où les musiciens improvisent sur une grille d’accord ». Au sein même de cette classification, il peut être amené à définir plusieurs sous-catégories de manière hétéroclite comme « Hard-Bop », « Big Bands » ou « Oscar Peterson », possédant chacune une description propre. Dans le cas des détecteurs de visage, les informations disponibles correspondent à l’intensité des pixels. A partir de ces informations, il faut définir le couple descripteurs classifieur le plus performant possible. C’est à cet effet que sont conçus des algorithmes de classification comme les perceptrons multicouches, les algorithmes de boosting, les réseaux de neurones à convolutions, etc. Les détecteurs comme celui d’OpenCV, celui de Rowley, SNoW ou le CFF diffèrent dans le choix et la mise en œuvre de ces algorithmes de classification (cf. IV). III.1.b) Principe général d'un détecteur Les classifieurs sont restreints à déterminer l’appartenance ou non d’une image à une classe. Dans le cadre de la détection de visage, ils sont donc limités à déterminer si une image fournie en entrée représente de manière exclusive un visage ou non. Ainsi, utilisé de manière isolée, un tel algorithme est incapable de localiser un visage. Afin de détecter des visages à de multiples échelles dans une image, un algorithme de parcours multi-échelles est mis en place : avec un classifieur entraîné pour une classification visage/non-visage, on parcourt l’image à l’ensemble des dimensions et des positions (fenêtres) possibles (Figure 2).- 11 -Figure 2 Application d’un classifieur à différentes échelles. Une fenêtre dédiée à une simple classification visage / non-visage est déplacée sur l’image sur laquelle on effectue une détection, à différentes échelles.Lorsque le classifieur désigne la fenêtre parcourue comme « visage », les coordonnées de cette classification sont enregistrées et ramenées à l’échelle de l’image d’origine. Au final, une détection est la conjonction (fusion) de plusieurs classifications positives à divers emplacements (Figure 3). En effet, lorsque le classifieur indique une zone comme positive, il indique en principe le même résultat à quelques pixels d’écart ou à une échelle proche. Inversement, lorsqu’une classification positive est isolée il est probable qu’elle soit due à une mauvaise estimation du classifieur, notamment à cause du bruit, inévitable dès qu’on manipule des données discrètes. Pour les mêmes raisons, les classifications positives autour d’un visage sont réparties de manière disjointe. Leur fusion a donc pour effet de minimiser les effets d’une classification isolée (résultant en faux-positif) et de la discontinuité des classifications positives.Figure 3 Regroupement des classifications positives à différentes images. Le résultat des différentes classifications à différentes échelles est ramené à l’image originale. Les zones où on observe de nombreuses classifications positives sont regroupées et la présence d’un visage en est déduite. Les classifications positives isolées sont ignorées.III.2) Le Détecteur de visages de RowleyLa suite de cette section découle d’une analyse du code mis à disposition par les auteurs du détecteur de Rowley. Il apparaît en effet que l’implémentation de ce détecteur diffère sur certains points des algorithmes publiés par l’auteur dans [6].- 12 -。