Face Detection în aplicații: ce este, metode și biblioteci

Ce este Face Detection: principii și algoritmi

Face Detection — sarcina de viziune computerizată de a determina prezența și localizarea fețelor umane într-o imagine. Algoritmul returnează bounding box (dreptunghi în jurul feței) și confidence score (probabilitatea că este o față). Algoritmii moderni returnează, de asemenea, facial landmarks — puncte cheie (ochi, sprâncene, nas, gură, conturul feței). Face Detection este prima etapă pentru multe sarcini ML: recunoașterea persoanei, filtre AR, analiza atenției.

Istoria algoritmilor a început cu Viola-Jones (2001) — cascada de caracteristici Haar-like pe CPU. În anii 2010 dominau HOG + SVM (Histogram of Oriented Gradients). Din 2016, toți algoritmii moderni se bazează pe rețele neuronale convoluționale (CNN): MTCNN, RetinaFace, SSH, MobileNet-SSD, YOLO-Face. Algoritmii CNN pe GPU oferă 95–99% precizie față de 85–90% pentru metodele clasice. Conform benchmark-ului WiderFace (2025), RetinaFace arată un mAP de 96.3% pe cel mai dificil subset.

MTCNN (Multi-Task Cascaded CNN) — un detector clasic în trei etape: P-Net (Proposal Network) găsește candidați, R-Net (Refine Network) filtrează, O-Net (Output Network) rafinează bounding box și produce landmarks. MTCNN funcționează pe CPU cu o viteză de 30–50 ms per cadru la rezoluția 640x480. Pentru dispozitive mobile, MTCNN oferă un echilibru optim între viteză și precizie fără GPU.

Real-time Face Detection necesită 30+ FPS pentru video. Acest lucru este realizabil pe smartphone-uri moderne datorită NPU (Neural Processing Unit) — Qualcomm Hexagon, Apple Neural Engine, MediaTek APU. NPU efectuează detectarea în 2–5 ms cu un consum de energie de 50–100 mW, în timp ce GPU consumă 500–2000 mW. Pentru detectarea continuă (camera mereu pornită), NPU este singura opțiune practică fără supraîncălzirea dispozitivului.

ML Kit Face Detection pe Android și iOS

ML Kit Face Detection — cel mai popular SDK pentru detectarea fețelor pe dispozitive mobile. ML Kit oferă două moduri: contour mode (468 puncte de contur ale feței pentru aplicarea precisă a măștilor) și classification mode (determinarea emoțiilor: zâmbet, ochi deschiși, gură deschisă). Modurile se combină în FaceDetectorOptions. ML Kit folosește rețeaua neurală Google MobileNetV2-SSD cu optimizare prin NNAPI/GPU Delegate.

Configurarea ML Kit Face Detection: setPerformanceMode(FACE_DETECTION_FAST / ACCURATE), setLandmarkMode (puncte cheie), setContourMode (puncte de contur), setClassificationMode (emoții). Pentru viteză maximă, utilizați FAST + LANDMARKS_ONLY + fără contur. Pentru filtre AR — ACCURATE + ALL_CONTOURS. Conform Google (2025), modul FAST oferă 98% precizie la 5 ms, ACCURATE — 99% la 15 ms.

// ML Kit Face Detection cu contururi
val options = FaceDetectorOptions.Builder()
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .enableTracking()
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val trackingId = face.trackingId
            val smile = face.smilingProbability
            val leftEyeOpen = face.leftEyeOpenProbability
        }
    }

Face Tracking în ML Kit — o caracteristică unică pentru flux video. Fiecărei fețe detectate i se atribuie un tracking ID (număr întreg) care persistă între cadre. Acest lucru permite atașarea obiectelor AR la o anumită față fără redetectare. Trackerul utilizează Optical Flow și menține ID-ul chiar și la acoperirea parțială a feței. Tracking ID se resetează când fața părăsește cadrul pentru mai mult de 1 secundă.

Apple Vision Framework: VNDetectFaceRectanglesRequest

Apple Vision Framework — framework-ul nativ iOS pentru Face Detection, care funcționează prin Core ML pe Apple Neural Engine. Vision oferă VNDetectFaceRectanglesRequest (doar bounding box) și VNDetectFaceLandmarksRequest (cu puncte de contur). Vision Framework este încorporat în iOS începând cu iOS 11 și nu necesită SDK-uri suplimentare — face parte din Foundation.

Avantajele Vision Framework: dependență zero de biblioteci terțe, funcționare prin Apple Neural Engine (ANE) pe cipuri A12+, procesarea automată a orientării imaginii prin exifOrientation, suport pentru CIDetectorAccuracy pentru ajustarea vitezei/preciziei. Vision returnează VNFaceObservation cu bounding box (coordonate normalizate 0..1) și landmarks (VNFaceLandmarkRegion2D).

Vision vs ML Kit pe iOS: Vision este mai rapid pe dispozitive vechi (A12–A15), deoarece utilizează motoarele neuronale native Apple. ML Kit folosește modele Google și poate fi mai precis la unghiuri dificile (profil, înclinare puternică). Pentru detectare simplă (cameră, foto) — Vision. Pentru filtre AR și măști de contur — ML Kit (468 puncte vs 76 puncte la Vision).

import Vision

let request = VNDetectFaceRectanglesRequest { request, error in
    guard let observations = request.results as? [VNFaceObservation] else { return }
    for face in observations {
        let rect = face.boundingBox // normalizat 0..1
        let confidence = face.confidence
    }
}

let handler = VNImageRequestHandler(
    cgImage: cgImage, orientation: .up, options: [:]
)
try handler.perform([request])

VNDetectFaceLandmarksRequest — versiunea extinsă pentru puncte cheie. Returnează VNFaceLandmarkRegion2D pentru fiecare grup de puncte: leftEye, rightEye, nose, faceContour, innerLips, outerLips. Fiecare grup este un array de CGPoint (normalizate). Vision nu returnează 468 de puncte ca ML Kit — doar 76 de puncte cheie. Pentru o mască precisă a feței, ML Kit este preferabil; pentru cea de bază — Vision.

OpenCV Haar Cascade: abordarea clasică

OpenCV Haar Cascade — algoritmul clasic Face Detection bazat pe cascada de caracteristici Haar-like (Viola-Jones, 2001). În ciuda vechimii, Haar Cascade este încă utilizat în proiecte cu resurse limitate: Raspberry Pi, dispozitive IoT, sisteme încorporate. Algoritmul nu necesită GPU sau NPU — funcționează pe orice CPU cu o viteză de 5–15 ms per cadru la rezoluție VGA.

LBP Cascade (Local Binary Patterns) — o alternativă la Haar Cascade în OpenCV. LBP este mai rapid (2–5 ms) și mai puțin sensibil la iluminare, dar produce mai multe rezultate fals-pozitive. Haar este mai precis (85–90% față de 80–85% pentru LBP), dar sensibil la reflexii și umbre. Pentru aplicații mobile, OpenCV Face Detection este inferior metodelor bazate pe rețele neuronale în ceea ce privește precizia, dar câștigă în compatibilitate — funcționează pe orice dispozitiv.

// OpenCV Face Detection prin CascadeClassifier
val cascadeFile = File(context.filesDir, "haarcascade_frontalface_default.xml")
val faceDetector = CascadeClassifier(cascadeFile.absolutePath)

val gray = Mat()
Imgproc.cvtColor(colorFrame, gray, Imgproc.COLOR_RGBA2GRAY)
val faces = MatOfRect()
faceDetector.detectMultiScale(gray, faces)

faces.toList().forEach { rect ->
    // rect = bounding box al feței
}

Dezavantajele OpenCV: rată mare de fals-pozitive (până la 15%), performanță slabă cu unghiuri de profil (>30° — scăderea preciziei la 50%), lipsa landmarks fără un model suplimentar, lipsa tracking-ului între cadre. Pentru aplicațiile mobile moderne, OpenCV Face Detection este un fallback pentru dispozitivele fără Google Play Services (Huawei, Amazon Fire). Pentru scenarii principale — ML Kit sau Vision.

Face Detection vs Face Recognition: diferența

Face Detection — determinarea prezenței și poziției feței în imagine. Rezultat: bounding box și puncte cheie. Face Recognition — identificarea persoanei după față: determinarea cărei persoane aparține fața. Face Recognition utilizează embeddinguri (vector de numere care reprezintă fața) și le compară cu o bază de date a fețelor cunoscute. Face Detection este prima etapă obligatorie pentru Face Recognition.

Tehnologii Face Recognition: FaceNet (Google, 2015) — triplet loss pentru învățarea embeddingurilor de dimensiune 128–512 valori float, ArcFace (2019) — additive angular margin loss, cea mai bună precizie (99.83% pe LFW). Pentru aplicații mobile, Face Recognition necesită un model TFLite personalizat — ML Kit nu oferă un API gata pentru identificarea persoanei (doar detectare).

Confidențialitatea pe dispozitive mobile: Face Detection este sigur — nu stochează date despre utilizator. Face Recognition necesită stocarea embeddingurilor sau fotografiilor pentru comparație. Apple solicită acordul explicit al utilizatorului pentru Face Recognition și interzice utilizarea pentru publicitate. Google ML Kit nu include în mod intenționat Face Recognition pentru a evita riscurile de confidențialitate. Pentru detectare fără identificare — nu există restricții.

Face Liveness Detection — o verificare suplimentară că fața este reală (nu o fotografie/video). Utilizează analiza mișcării ochilor (blink detection), micro-mimică, hartă de adâncime (cameră 3D). Liveness Detection este obligatorie pentru aplicații bancare și de plată. ML Kit nu are o funcție de liveness încorporată — utilizați un model personalizat sau Google Play Integrity API pentru verificare.

Utilizarea Face Detection în aplicațiile mobile

Filtre AR și măști — cea mai populară utilizare a Face Detection. Pe baza punctelor de contur ale feței (468 puncte) se aplică măști 3D, pălării, ochelari, mustăți. ML Kit Face Detection + SceneKit (iOS) sau Filament (Android) creează o experiență AR în timp real. Snapchat și Instagram folosesc detectoare proprii bazate pe MobileNet + MTCNN. Pentru filtre AR personalizate, sunt suficiente ML Kit și un motor 3D.

Editoare foto și retuș — Face Detection determină zona feței pentru corecție automată: uniformizarea culorii pielii, eliminarea defectelor, îmbunătățirea ochilor și dinților. OpenCV + ML Kit Face Detection oferă coordonate pentru Selective Gaussian Blur (netezirea pielii) și contrastul ochilor. Aplicații reale — Facetune, BeautyPlus, YouCam Makeup.

Controlul atenției — determinarea direcției privirii (gaze detection). Face Detection returnează bounding box și landmarks ai ochilor. Pe baza poziției pupilei față de ochi se determină unde privește utilizatorul: în ecran, stânga, dreapta, sus. Se aplică în e-learning (controlul că studentul se uită la lecție), publicitate (metrici de atenție), asistenți pentru șoferi (controlul oboselii).

// ARKit + Vision pentru filtru AR
let faceLandmarksRequest = VNDetectFaceLandmarksRequest { req, _ in
    guard let face = req.results?.first as? VNFaceObservation else { return }
    if let leftEye = face.landmarks?.leftEye {
        // Suprapunere obiect AR pe ochiul stâng
    }
}

let handler = VNSequenceRequestHandler()
for pixelBuffer in videoStream {
    try handler.perform([faceLandmarksRequest], on: pixelBuffer)
}

Medicină și wellness — Face Detection este utilizat pentru analiza asimetriei faciale (diagnosticarea tulburărilor neurologice), evaluarea pulsului prin microvibrații ale pielii (fotopletismografie prin cameră), determinarea hidratării pielii. ML Kit Face Detection + OpenCV oferă suficientă precizie pentru screening preliminar fără certificare medicală. Pentru medicina de producție este necesară certificarea FDA/CE.