Face Detection w aplikacjach: co to jest, metody i biblioteki

Co to jest Face Detection: zasady i algorytmy

Face Detection — zadanie wizji komputerowej polegające na określeniu obecności i lokalizacji ludzkich twarzy na obrazie. Algorytm zwraca bounding box (prostokąt wokół twarzy) i confidence score (prawdopodobieństwo, że to twarz). Nowoczesne algorytmy zwracają również facial landmarks — kluczowe punkty (oczy, brwi, nos, usta, kontur twarzy). Face Detection to pierwszy etap dla wielu zadań ML: rozpoznawanie osób, filtry AR, analityka uwagi.

Historia algorytmów rozpoczęła się od Viola-Jones (2001) — kaskada cech Haar-like na CPU. W latach 2010. dominowały HOG + SVM (Histogram of Oriented Gradients). Od 2016 roku wszystkie nowoczesne algorytmy oparte są na konwolucyjnych sieciach neuronowych (CNN): MTCNN, RetinaFace, SSH, MobileNet-SSD, YOLO-Face. Algorytmy CNN na GPU dają 95–99% dokładności wobec 85–90% dla metod klasycznych. Według benchmarku WiderFace (2025), RetinaFace osiąga mAP 96.3% na najtrudniejszym podzbiorze.

MTCNN (Multi-Task Cascaded CNN) — klasyczny trójstopniowy detektor: P-Net (Proposal Network) znajduje kandydatów, R-Net (Refine Network) filtruje, O-Net (Output Network) precyzuje bounding box i wyprowadza landmarks. MTCNN działa na CPU z prędkością 30–50 ms na klatkę przy rozdzielczości 640x480. Dla urządzeń mobilnych MTCNN to optymalny balans prędkości i dokładności bez GPU.

Real-time Face Detection wymaga 30+ FPS dla wideo. Jest to osiągalne na nowoczesnych smartfonach dzięki NPU (Neural Processing Unit) — Qualcomm Hexagon, Apple Neural Engine, MediaTek APU. NPU wykonuje detekcję w 2–5 ms przy poborze mocy 50–100 mW, podczas gdy GPU pobiera 500–2000 mW. Do ciągłej detekcji (kamery zawsze włączonej) NPU jest jedyną praktyczną opcją bez przegrzewania urządzenia.

ML Kit Face Detection na Android i iOS

ML Kit Face Detection — najpopularniejszy SDK do wykrywania twarzy na urządzeniach mobilnych. ML Kit oferuje dwa tryby: contour mode (468 punktów konturu twarzy do precyzyjnego nakładania masek) i classification mode (określanie emocji: uśmiech, otwarte oczy, otwarte usta). Tryby są łączone w FaceDetectorOptions. ML Kit wykorzystuje sieć neuronową Google MobileNetV2-SSD z optymalizacją przez NNAPI/GPU Delegate.

Konfiguracja ML Kit Face Detection: setPerformanceMode(FACE_DETECTION_FAST / ACCURATE), setLandmarkMode (kluczowe punkty), setContourMode (punkty konturu), setClassificationMode (emocje). Dla maksymalnej szybkości użyj FAST + LANDMARKS_ONLY + bez konturu. Dla filtrów AR — ACCURATE + ALL_CONTOURS. Według Google (2025), tryb FAST daje 98% dokładności przy 5 ms, ACCURATE — 99% przy 15 ms.

// Wykrywanie twarzy ML Kit z konturami
val options = FaceDetectorOptions.Builder()
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .enableTracking()
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val trackingId = face.trackingId
            val smile = face.smilingProbability
            val leftEyeOpen = face.leftEyeOpenProbability
        }
    }

Face Tracking w ML Kit — unikalna funkcja dla strumienia wideo. Każdej wykrytej twarzy przypisywany jest tracking ID (liczba całkowita), który pozostaje między klatkami. Pozwala to przypisywać obiekty AR do konkretnej twarzy bez ponownego detektowania. Tracker wykorzystuje Optical Flow i utrzymuje ID nawet przy częściowym zasłonięciu twarzy. Tracking ID jest resetowany, gdy twarz opuści kadr na więcej niż 1 sekundę.

Apple Vision Framework: VNDetectFaceRectanglesRequest

Apple Vision Framework — natywny framework iOS do Face Detection, działający przez Core ML na Apple Neural Engine. Vision udostępnia VNDetectFaceRectanglesRequest (tylko bounding box) i VNDetectFaceLandmarksRequest (z punktami konturu). Vision Framework jest wbudowany w iOS od wersji iOS 11 i nie wymaga dodatkowych SDK — jest częścią Foundation.

Zalety Vision Framework: zerowa zależność od bibliotek zewnętrznych, działanie przez Apple Neural Engine (ANE) na chipach A12+, automatyczne przetwarzanie orientacji obrazu przez exifOrientation, obsługa CIDetectorAccuracy do ustawiania szybkości/dokładności. Vision zwraca VNFaceObservation z bounding box (znormalizowane współrzędne 0..1) i landmarks (VNFaceLandmarkRegion2D).

Vision vs ML Kit na iOS: Vision jest szybszy na starszych urządzeniach (A12–A15), ponieważ używa natywnych silników neuronowych Apple. ML Kit używa modeli Google i może być dokładniejszy przy trudnych kątach (profil, silne nachylenie). Do prostej detekcji (kamera, zdjęcie) — Vision. Do filtrów AR i masek konturowych — ML Kit (468 punktów vs 76 punktów w Vision).

import Vision

let request = VNDetectFaceRectanglesRequest { request, error in
    guard let observations = request.results as? [VNFaceObservation] else { return }
    for face in observations {
        let rect = face.boundingBox // znormalizowane 0..1
        let confidence = face.confidence
    }
}

let handler = VNImageRequestHandler(
    cgImage: cgImage, orientation: .up, options: [:]
)
try handler.perform([request])

VNDetectFaceLandmarksRequest — rozszerzona wersja dla kluczowych punktów. Zwraca VNFaceLandmarkRegion2D dla każdej grupy punktów: leftEye, rightEye, nose, faceContour, innerLips, outerLips. Każda grupa to tablica CGPoint (znormalizowane). Vision nie zwraca 468 punktów jak ML Kit — tylko 76 kluczowych. Do precyzyjnej maski twarzy ML Kit jest lepszy, do podstawowej — Vision.

OpenCV Haar Cascade: klasyczne podejście

OpenCV Haar Cascade — klasyczny algorytm Face Detection oparty na kaskadzie cech Haar-like (Viola-Jones, 2001). Mimo wieku, Haar Cascade jest nadal używany w projektach z ograniczonymi zasobami: Raspberry Pi, urządzenia IoT, systemy wbudowane. Algorytm nie wymaga GPU ani NPU — działa na każdym CPU z prędkością 5–15 ms na klatkę w rozdzielczości VGA.

LBP Cascade (Local Binary Patterns) — alternatywa dla Haar Cascade w OpenCV. LBP jest szybszy (2–5 ms) i mniej wrażliwy na oświetlenie, ale daje więcej fałszywych trafień. Haar jest dokładniejszy (85–90% wobec 80–85% dla LBP), ale wrażliwy na odbicia i cienie. Dla aplikacji mobilnych OpenCV Face Detection ustępuje metodom sieci neuronowych pod względem dokładności, ale wygrywa pod względem kompatybilności — działa na każdym urządzeniu.

// Wykrywanie twarzy OpenCV przez CascadeClassifier
val cascadeFile = File(context.filesDir, "haarcascade_frontalface_default.xml")
val faceDetector = CascadeClassifier(cascadeFile.absolutePath)

val gray = Mat()
Imgproc.cvtColor(colorFrame, gray, Imgproc.COLOR_RGBA2GRAY)
val faces = MatOfRect()
faceDetector.detectMultiScale(gray, faces)

faces.toList().forEach { rect ->
    // rect = obwiednia twarzy
}

Wady OpenCV: wysoki wskaźnik fałszywych trafień (do 15%), słaba praca z profilami (>30° — spadek dokładności do 50%), brak landmarks bez dodatkowego modelu, brak trackingu między klatkami. Dla nowoczesnych aplikacji mobilnych OpenCV Face Detection to fallback dla urządzeń bez Google Play Services (Huawei, Amazon Fire). Do głównych scenariuszy — ML Kit lub Vision.

Face Detection vs Face Recognition: różnica

Face Detection — określanie obecności i położenia twarzy na obrazie. Wynik: bounding box i kluczowe punkty. Face Recognition — identyfikacja osoby na podstawie twarzy: określenie, że twarz należy do konkretnej osoby. Face Recognition wykorzystuje embeddingi (wektor liczb reprezentujący twarz) i porównuje je z bazą znanych twarzy. Face Detection to obowiązkowy pierwszy etap dla Face Recognition.

Technologie Face Recognition: FaceNet (Google, 2015) — triplet loss do uczenia embeddingów o rozmiarze 128–512 wartości float, ArcFace (2019) — additive angular margin loss, najlepsza dokładność (99.83% na LFW). Dla aplikacji mobilnych Face Recognition wymaga niestandardowego modelu TFLite — ML Kit nie udostępnia gotowego API do identyfikacji osób (tylko detekcję).

Prywatność na urządzeniach mobilnych: Face Detection jest bezpieczny — nie przechowuje danych o użytkowniku. Face Recognition wymaga przechowywania embeddingów lub zdjęć do porównania. Apple wymaga wyraźnej zgody użytkownika na Face Recognition i zabrania wykorzystywania do reklam. Google ML Kit celowo nie zawiera Face Recognition, aby uniknąć ryzyka prywatności. Dla detekcji bez identyfikacji — brak ograniczeń.

Face Liveness Detection — dodatkowa weryfikacja, że twarz jest prawdziwa (nie zdjęcie/wideo). Wykorzystuje analizę ruchu oczu (blink detection), mikro-mimikę, mapę głębi (kamera 3D). Liveness Detection jest obowiązkowa dla aplikacji bankowych i płatniczych. ML Kit nie ma wbudowanej funkcji liveness — użyj niestandardowego modelu lub Google Play Integrity API do weryfikacji.

Zastosowanie Face Detection w aplikacjach mobilnych

Filtry AR i maski — najpopularniejsze zastosowanie Face Detection. Na podstawie punktów konturu twarzy (468 punktów) nakładane są maski 3D, kapelusze, okulary, wąsy. ML Kit Face Detection + SceneKit (iOS) lub Filament (Android) tworzy real-time AR. Snapchat i Instagram używają własnych detektorów opartych na MobileNet + MTCNN. Do niestandardowych filtrów AR wystarczy ML Kit i silnik 3D.

Edytory zdjęć i retusz — Face Detection określa obszar twarzy do automatycznej korekcji: wyrównanie koloru skóry, usuwanie defektów, poprawa oczu i zębów. OpenCV + ML Kit Face Detection dostarcza współrzędne do Selective Gaussian Blur (wygładzanie skóry) i kontrastu oczu. Rzeczywiste zastosowanie — aplikacje Facetune, BeautyPlus, YouCam Makeup.

Kontrola uwagi — określanie kierunku spojrzenia (gaze detection). Face Detection zwraca bounding box i landmarks oczu. Na podstawie położenia źrenicy względem oka określa się, gdzie patrzy użytkownik: w ekran, w lewo, w prawo, w górę. Stosowane w e-learningu (kontrola, czy student patrzy w wykład), reklamie (metryki uwagi), asystentach kierowcy (kontrola zmęczenia).

// ARKit + Vision dla filtra AR
let faceLandmarksRequest = VNDetectFaceLandmarksRequest { req, _ in
    guard let face = req.results?.first as? VNFaceObservation else { return }
    if let leftEye = face.landmarks?.leftEye {
        // Nakładka obiektu AR na lewym oku
    }
}

let handler = VNSequenceRequestHandler()
for pixelBuffer in videoStream {
    try handler.perform([faceLandmarksRequest], on: pixelBuffer)
}

Medycyna i wellness — Face Detection wykorzystuje się do analizy asymetrii twarzy (diagnostyka zaburzeń neurologicznych), oceny tętna na podstawie mikrowibracji skóry (fotopletyzmografia przez kamerę), określania nawilżenia skóry. ML Kit Face Detection + OpenCV zapewniają wystarczającą dokładność do wstępnego screeneringu bez certyfikacji medycznej. Do medycyny produkcyjnej wymagana jest certyfikacja FDA/CE.