Face Detection dans les applications : ce que c'est, méthodes et bibliothèques

Qu'est-ce que Face Detection : principes et algorithmes

Face Detection est une tâche de vision par ordinateur consistant à détecter la présence et l'emplacement de visages humains dans une image. L'algorithme renvoie une bounding box (rectangle autour du visage) et un confidence score (probabilité qu'il s'agisse d'un visage). Les algorithmes modernes renvoient également des facial landmarks — points clés (yeux, sourcils, nez, bouche, contour du visage). Face Detection est la première étape pour de nombreuses tâches de ML : reconnaissance de personnes, filtres AR, analyse d'attention.

Histoire des algorithmes a commencé avec Viola-Jones (2001) — une cascade de caractéristiques de type Haar sur CPU. Dans les années 2010, HOG + SVM (Histogram of Oriented Gradients) dominait. Depuis 2016, tous les algorithmes modernes sont basés sur des réseaux de neurones convolutifs (CNN) : MTCNN, RetinaFace, SSH, MobileNet-SSD, YOLO-Face. Les algorithmes CNN sur GPU offrent une précision de 95 à 99 % contre 85 à 90 % pour les méthodes classiques. Selon le benchmark WiderFace (2025), RetinaFace atteint 96,3 % de mAP sur le sous-ensemble le plus difficile.

MTCNN (Multi-Task Cascaded CNN) est un détecteur classique à trois étages : P-Net (Proposal Network) trouve les candidats, R-Net (Refine Network) les filtre, O-Net (Output Network) affine la bounding box et produit les landmarks. MTCNN fonctionne sur CPU à 30–50 ms par image en résolution 640x480. Pour les appareils mobiles, MTCNN offre un équilibre optimal entre vitesse et précision sans GPU.

Face Detection en temps réel nécessite 30+ FPS pour la vidéo. Ceci est réalisable sur les smartphones modernes grâce à la NPU (Neural Processing Unit) — Qualcomm Hexagon, Apple Neural Engine, MediaTek APU. La NPU effectue la détection en 2–5 ms avec une consommation d'énergie de 50–100 mW, tandis que le GPU consomme 500–2000 mW. Pour la détection continue (caméra toujours allumée), la NPU est la seule option pratique sans surchauffe de l'appareil.

ML Kit Face Detection sur Android et iOS

ML Kit Face Detection est le SDK le plus populaire pour la détection de visages sur les appareils mobiles. ML Kit propose deux modes : mode contour (468 points de contour du visage pour un superposition précise de masques) et mode classification (détection des émotions : sourire, yeux ouverts, bouche ouverte). Les modes sont combinés dans FaceDetectorOptions. ML Kit utilise le réseau neuronal MobileNetV2-SSD de Google avec optimisation via NNAPI/GPU Delegate.

Configuration de ML Kit Face Detection : setPerformanceMode(FACE_DETECTION_FAST / ACCURATE), setLandmarkMode (points clés), setContourMode (points de contour), setClassificationMode (émotions). Pour une vitesse maximale, utilisez FAST + LANDMARKS_ONLY + sans contour. Pour les filtres AR — ACCURATE + ALL_CONTOURS. Selon Google (2025), le mode FAST offre 98 % de précision à 5 ms, ACCURATE — 99 % à 15 ms.

// ML Kit Face Detection with contours
val options = FaceDetectorOptions.Builder()
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .enableTracking()
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val trackingId = face.trackingId
            val smile = face.smilingProbability
            val leftEyeOpen = face.leftEyeOpenProbability
        }
    }

Face Tracking dans ML Kit — une fonctionnalité unique pour les flux vidéo. Chaque visage détecté se voit attribuer un tracking ID (nombre entier) qui persiste entre les images. Cela permet d'attacher des objets AR à un visage spécifique sans re-détection. Le tracker utilise Optical Flow et conserve l'ID même avec une occlusion partielle du visage. Le tracking ID est réinitialisé lorsque le visage quitte le cadre pendant plus d'une seconde.

Apple Vision Framework : VNDetectFaceRectanglesRequest

Apple Vision Framework est un framework natif iOS pour Face Detection qui fonctionne via Core ML sur Apple Neural Engine. Vision fournit VNDetectFaceRectanglesRequest (bounding box uniquement) et VNDetectFaceLandmarksRequest (avec points de contour). Vision Framework est intégré à iOS depuis iOS 11 et ne nécessite aucun SDK supplémentaire — il fait partie de Foundation.

Avantages de Vision Framework : dépendance zéro vis-à-vis des bibliothèques tierces, fonctionne via Apple Neural Engine (ANE) sur les puces A12+, gestion automatique de l'orientation de l'image via exifOrientation, prise en charge de CIDetectorAccuracy pour le réglage vitesse/précision. Vision retourne VNFaceObservation avec bounding box (coordonnées normalisées 0..1) et landmarks (VNFaceLandmarkRegion2D).

Vision vs ML Kit sur iOS : Vision est plus rapide sur les anciens appareils (A12–A15) car il utilise les moteurs neuronaux natifs d'Apple. ML Kit utilise les modèles Google et peut être plus précis sur les angles complexes (profil, forte inclinaison). Pour une détection simple (appareil photo, photos) — utilisez Vision. Pour les filtres AR et les masques de contour — utilisez ML Kit (468 points contre 76 points dans Vision).

import Vision

let request = VNDetectFaceRectanglesRequest { request, error in
    guard let observations = request.results as? [VNFaceObservation] else { return }
    for face in observations {
        let rect = face.boundingBox // normalized 0..1
        let confidence = face.confidence
    }
}

let handler = VNImageRequestHandler(
    cgImage: cgImage, orientation: .up, options: [:]
)
try handler.perform([request])

VNDetectFaceLandmarksRequest est la version étendue pour les points clés. Retourne VNFaceLandmarkRegion2D pour chaque groupe de points : leftEye, rightEye, nose, faceContour, innerLips, outerLips. Chaque groupe est un tableau de CGPoint (normalisés). Vision ne retourne pas 468 points comme ML Kit — seulement 76 points clés. Pour les masques faciaux précis, ML Kit est préférable ; pour la détection de base, Vision est suffisant.

OpenCV Haar Cascade : l'approche classique

OpenCV Haar Cascade est un algorithme classique de Face Detection basé sur une cascade de caractéristiques de type Haar (Viola-Jones, 2001). Malgré son âge, Haar Cascade est encore utilisé dans des projets aux ressources limitées : Raspberry Pi, appareils IoT, systèmes embarqués. L'algorithme ne nécessite ni GPU ni NPU — il fonctionne sur n'importe quel CPU à 5–15 ms par image en résolution VGA.

LBP Cascade (Local Binary Patterns) est une alternative à Haar Cascade dans OpenCV. LBP est plus rapide (2–5 ms) et moins sensible à l'éclairage, mais produit plus de faux positifs. Haar est plus précis (85–90 % contre 80–85 % pour LBP), mais sensible aux reflets et aux ombres. Pour les applications mobiles, OpenCV Face Detection est inférieur aux méthodes de réseaux neuronaux en précision, mais gagne en compatibilité — il fonctionne sur n'importe quel appareil.

// OpenCV Face Detection via CascadeClassifier
val cascadeFile = File(context.filesDir, "haarcascade_frontalface_default.xml")
val faceDetector = CascadeClassifier(cascadeFile.absolutePath)

val gray = Mat()
Imgproc.cvtColor(colorFrame, gray, Imgproc.COLOR_RGBA2GRAY)
val faces = MatOfRect()
faceDetector.detectMultiScale(gray, faces)

faces.toList().forEach { rect ->
    // rect = face bounding box
}

Limitations d'OpenCV : taux de faux positifs élevé (jusqu'à 15 %), mauvaise performance sur les angles de profil (>30° — la précision chute à 50 %), absence de landmarks sans modèle supplémentaire, pas de suivi entre les images. Pour les applications mobiles modernes, OpenCV Face Detection sert de fallback pour les appareils sans Google Play Services (Huawei, Amazon Fire). Pour les scénarios principaux — utilisez ML Kit ou Vision.

Face Detection vs Face Recognition : différence

Face Detection — détermination de la présence et de la position d'un visage dans une image. Résultat : bounding box et points clés. Face Recognition — identification d'une personne par son visage : déterminer que ce visage appartient à un individu spécifique. Face Recognition utilise des embeddings (un vecteur de nombres représentant un visage) et les compare à une base de données de visages connus. Face Detection est une première étape obligatoire pour Face Recognition.

Technologies de Face Recognition : FaceNet (Google, 2015) — triplet loss pour entraîner des embeddings de 128–512 valeurs float, ArcFace (2019) — additive angular margin loss, meilleure précision (99,83 % sur LFW). Pour les applications mobiles, Face Recognition nécessite un modèle TFLite personnalisé — ML Kit ne fournit pas d'API prête pour l'identification des personnes (uniquement la détection).

Confidentialité sur les appareils mobiles : Face Detection est sûr — il ne stocke pas de données utilisateur. Face Recognition nécessite le stockage d'embeddings ou de photos pour la comparaison. Apple exige le consentement explicite de l'utilisateur pour Face Recognition et interdit son utilisation pour la publicité. Google ML Kit n'inclut intentionnellement pas Face Recognition pour éviter les risques de confidentialité. Pour la détection sans identification — il n'y a pas de restrictions.

Face Liveness Detection — une vérification supplémentaire pour s'assurer que le visage est réel (pas une photo/vidéo). Utilise l'analyse des mouvements oculaires (blink detection), les micro-expressions, la carte de profondeur (caméra 3D). Liveness Detection est obligatoire pour les applications bancaires et de paiement. ML Kit n'a pas de liveness intégrée — utilisez un modèle personnalisé ou Google Play Integrity API pour la vérification.

Applications de Face Detection dans les apps mobiles

Filtres AR et masques — l'application la plus populaire de Face Detection. Sur la base des points de contour du visage (468 points), des masques 3D, chapeaux, lunettes, moustaches sont superposés. ML Kit Face Detection + SceneKit (iOS) ou Filament (Android) crée une expérience AR en temps réel. Snapchat et Instagram utilisent leurs propres détecteurs basés sur MobileNet + MTCNN. Pour les filtres AR personnalisés, ML Kit et un moteur 3D suffisent.

Éditeurs de photos et retouche — Face Detection identifie la zone du visage pour la correction automatique : équilibrage du teint, suppression des imperfections, amélioration des yeux et des dents. OpenCV + ML Kit Face Detection fournit les coordonnées pour Selective Gaussian Blur (lissage de la peau) et le contraste des yeux. Applications réelles — Facetune, BeautyPlus, YouCam Makeup.

Surveillance de l'attention — détermination de la direction du regard (gaze detection). Face Detection retourne la bounding box et les landmarks des yeux. La position de la pupille par rapport à l'œil détermine où regarde l'utilisateur : vers l'écran, à gauche, à droite, en haut. Utilisé dans l'e-learning (surveiller si l'étudiant regarde le cours), la publicité (métriques d'attention), les assistants de conduite (surveillance de la fatigue).

// ARKit + Vision for AR filter
let faceLandmarksRequest = VNDetectFaceLandmarksRequest { req, _ in
    guard let face = req.results?.first as? VNFaceObservation else { return }
    if let leftEye = face.landmarks?.leftEye {
        // AR object overlay on left eye
    }
}

let handler = VNSequenceRequestHandler()
for pixelBuffer in videoStream {
    try handler.perform([faceLandmarksRequest], on: pixelBuffer)
}

Médecine et bien-être — Face Detection est utilisé pour l'analyse de l'asymétrie faciale (diagnostic de troubles neurologiques), l'estimation du pouls par micro-vibrations de la peau (photopléthysmographie via caméra), la détermination de l'hydratation de la peau. ML Kit Face Detection + OpenCV offrent une précision suffisante pour un dépistage préliminaire sans certification médicale. Pour la médecine de production, une certification FDA/CE est requise.