Face Detection в приложенията: какво е, методи и библиотеки

Какво е Face Detection: принципи и алгоритми

Face Detection — задача на компютърното зрение за определяне наличието и местоположението на човешки лица в изображение. Алгоритъмът връща bounding box (правоъгълник около лицето) и confidence score (вероятност, че това е лице). Съвременните алгоритми също връщат facial landmarks — ключови точки (очи, вежди, нос, уста, контур на лицето). Face Detection е първият етап за много ML задачи: разпознаване на личност, AR филтри, анализиране на вниманието.

История на алгоритмите започва с Viola-Jones (2001) — каскада от Haar-подобни характеристики на CPU. През 2010-те доминираха HOG + SVM (Histogram of Oriented Gradients). От 2016 г. всички съвременни алгоритми са базирани на конволюционни невронни мрежи (CNN): MTCNN, RetinaFace, SSH, MobileNet-SSD, YOLO-Face. CNN алгоритмите на GPU дават 95–99% точност срещу 85–90% при класическите методи. Според бенчмарка WiderFace (2025), RetinaFace показва mAP 96.3% на най-трудния подмножество.

MTCNN (Multi-Task Cascaded CNN) — класически тристепенен детектор: P-Net (Proposal Network) намира кандидати, R-Net (Refine Network) филтрира, O-Net (Output Network) уточнява bounding box и извежда landmarks. MTCNN работи на CPU със скорост 30–50 ms на кадър при резолюция 640x480. За мобилни устройства MTCNN предлага оптимален баланс между скорост и точност без GPU.

Real-time Face Detection изисква 30+ FPS за видео. Това е постижимо на съвременни смартфони благодарение на NPU (Neural Processing Unit) — Qualcomm Hexagon, Apple Neural Engine, MediaTek APU. NPU извършва откриване за 2–5 ms с консумация на енергия 50–100 mW, докато GPU консумира 500–2000 mW. За непрекъснато откриване (камерата винаги включена) NPU е единственият практически вариант без прегряване на устройството.

ML Kit Face Detection на Android и iOS

ML Kit Face Detection — най-популярният SDK за откриване на лица на мобилни устройства. ML Kit предлага два режима: contour mode (468 контурни точки на лицето за прецизно поставяне на маски) и classification mode (определяне на емоции: усмивка, отворени очи, отворена уста). Режимите се комбинират във FaceDetectorOptions. ML Kit използва невронна мрежа на Google MobileNetV2-SSD с оптимизация чрез NNAPI/GPU Delegate.

Настройка на ML Kit Face Detection: setPerformanceMode(FACE_DETECTION_FAST / ACCURATE), setLandmarkMode (ключови точки), setContourMode (контурни точки), setClassificationMode (емоции). За максимална скорост използвайте FAST + LANDMARKS_ONLY + без контур. За AR филтри — ACCURATE + ALL_CONTOURS. Според Google (2025), FAST режимът дава 98% точност при 5 ms, ACCURATE — 99% при 15 ms.

// ML Kit Face Detection с контури
val options = FaceDetectorOptions.Builder()
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .enableTracking()
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val trackingId = face.trackingId
            val smile = face.smilingProbability
            val leftEyeOpen = face.leftEyeOpenProbability
        }
    }

Face Tracking в ML Kit — уникална функция за видео поток. На всяко открито лице се присвоява tracking ID (цяло число), което се запазва между кадрите. Това позволява прикрепване на AR обекти към конкретно лице без повторно откриване. Тракерът използва Optical Flow и запазва ID дори при частично покриване на лицето. Tracking ID се нулира, когато лицето напусне кадъра за повече от 1 секунда.

Apple Vision Framework: VNDetectFaceRectanglesRequest

Apple Vision Framework — родната iOS рамка за Face Detection, работеща чрез Core ML на Apple Neural Engine. Vision предоставя VNDetectFaceRectanglesRequest (само bounding box) и VNDetectFaceLandmarksRequest (с контурни точки). Vision Framework е вграден в iOS от iOS 11 и не изисква допълнителни SDK — част е от Foundation.

Предимства на Vision Framework: нулева зависимост от библиотеки на трети страни, работа чрез Apple Neural Engine (ANE) на чипове A12+, автоматична обработка на ориентацията на изображението чрез exifOrientation, поддръжка на CIDetectorAccuracy за настройка на скорост/точност. Vision връща VNFaceObservation с bounding box (нормализирани координати 0..1) и landmarks (VNFaceLandmarkRegion2D).

Vision срещу ML Kit на iOS: Vision е по-бърз на по-стари устройства (A12–A15), тъй като използва родните невронни двигатели на Apple. ML Kit използва модели на Google и може да бъде по-точен при трудни ъгли (профил, силен наклон). За просто откриване (камера, снимка) — Vision. За AR филтри и контурни маски — ML Kit (468 точки срещу 76 точки при Vision).

import Vision

let request = VNDetectFaceRectanglesRequest { request, error in
    guard let observations = request.results as? [VNFaceObservation] else { return }
    for face in observations {
        let rect = face.boundingBox // нормализирано 0..1
        let confidence = face.confidence
    }
}

let handler = VNImageRequestHandler(
    cgImage: cgImage, orientation: .up, options: [:]
)
try handler.perform([request])

VNDetectFaceLandmarksRequest — разширената версия за ключови точки. Връща VNFaceLandmarkRegion2D за всяка група точки: leftEye, rightEye, nose, faceContour, innerLips, outerLips. Всяка група е масив от CGPoint (нормализирани). Vision не връща 468 точки като ML Kit — само 76 ключови точки. За точна маска на лицето ML Kit е за предпочитане; за основна — Vision.

OpenCV Haar Cascade: класически подход

OpenCV Haar Cascade — класически алгоритъм за Face Detection, базиран на каскада от Haar-подобни характеристики (Viola-Jones, 2001). Въпреки възрастта си, Haar Cascade все още се използва в проекти с ограничени ресурси: Raspberry Pi, IoT устройства, вградени системи. Алгоритъмът не изисква GPU или NPU — работи на всеки CPU със скорост 5–15 ms на кадър при VGA резолюция.

LBP Cascade (Local Binary Patterns) — алтернатива на Haar Cascade в OpenCV. LBP е по-бърз (2–5 ms) и по-малко чувствителен към осветление, но дава повече фалшиво положителни резултати. Haar е по-точен (85–90% срещу 80–85% за LBP), но е чувствителен към отблясъци и сенки. За мобилни приложения OpenCV Face Detection отстъпва на методите с невронни мрежи по точност, но печели по съвместимост — работи на всяко устройство.

// OpenCV Face Detection чрез CascadeClassifier
val cascadeFile = File(context.filesDir, "haarcascade_frontalface_default.xml")
val faceDetector = CascadeClassifier(cascadeFile.absolutePath)

val gray = Mat()
Imgproc.cvtColor(colorFrame, gray, Imgproc.COLOR_RGBA2GRAY)
val faces = MatOfRect()
faceDetector.detectMultiScale(gray, faces)

faces.toList().forEach { rect ->
    // rect = bounding box на лице
}

Недостатъци на OpenCV: висок процент фалшиво положителни резултати (до 15%), лоша работа с профилни ъгли (>30° — спад на точността до 50%), липса на landmarks без допълнителен модел, липса на проследяване между кадри. За съвременни мобилни приложения OpenCV Face Detection е резервен вариант за устройства без Google Play Services (Huawei, Amazon Fire). За основни сценарии — ML Kit или Vision.

Face Detection vs Face Recognition: разлика

Face Detection — определяне наличието и позицията на лицето в изображение. Резултат: bounding box и ключови точки. Face Recognition — идентификация на човек по лицето: определяне на кого принадлежи лицето. Face Recognition използва ембединги (вектор от числа, представляващ лицето) и ги сравнява с база данни от известни лица. Face Detection е задължителният първи етап за Face Recognition.

Технологии за Face Recognition: FaceNet (Google, 2015) — triplet loss за обучение на ембединги с размер 128–512 float стойности, ArcFace (2019) — additive angular margin loss, най-добра точност (99.83% на LFW). За мобилни приложения Face Recognition изисква персонализиран TFLite модел — ML Kit не предоставя готово API за идентификация на личност (само откриване).

Поверителност на мобилни устройства: Face Detection е безопасен — не съхранява данни за потребителя. Face Recognition изисква съхраняване на ембединги или снимки за сравнение. Apple изисква изрично съгласие на потребителя за Face Recognition и забранява използването му за реклама. Google ML Kit умишлено не включва Face Recognition, за да избегне рискове за поверителността. За откриване без идентификация — няма ограничения.

Face Liveness Detection — допълнителна проверка, че лицето е истинско (не снимка/видео). Използва анализ на движението на очите (blink detection), микро-мимика, карта на дълбочината (3D камера). Liveness Detection е задължителна за банкови и платежни приложения. ML Kit няма вградена функция за liveness — използвайте персонализиран модел или Google Play Integrity API за проверка.

Приложение на Face Detection в мобилни приложения

AR филтри и маски — най-популярното приложение на Face Detection. На базата на контурните точки на лицето (468 точки) се прилагат 3D маски, шапки, очила, мустаци. ML Kit Face Detection + SceneKit (iOS) или Filament (Android) създава real-time AR изживяване. Snapchat и Instagram използват собствени детектори, базирани на MobileNet + MTCNN. За персонализирани AR филтри са достатъчни ML Kit и 3D двигател.

Фото редактори и ретуш — Face Detection определя областта на лицето за автоматична корекция: изравняване на цвета на кожата, премахване на дефекти, подобряване на очите и зъбите. OpenCV + ML Kit Face Detection дават координати за Selective Gaussian Blur (изглаждане на кожата) и контраст на очите. Реално приложение — Facetune, BeautyPlus, YouCam Makeup.

Контрол на вниманието — определяне посоката на погледа (gaze detection). Face Detection връща bounding box и landmarks на очите. По позицията на зеницата спрямо окото се определя накъде гледа потребителят: към екрана, наляво, надясно, нагоре. Прилага се в e-learning (контрол, че студентът гледа лекцията), реклама (метрики на вниманието), шофьорски асистенти (контрол на умората).

// ARKit + Vision за AR филтър
let faceLandmarksRequest = VNDetectFaceLandmarksRequest { req, _ in
    guard let face = req.results?.first as? VNFaceObservation else { return }
    if let leftEye = face.landmarks?.leftEye {
        // AR обект насложен върху лявото око
    }
}

let handler = VNSequenceRequestHandler()
for pixelBuffer in videoStream {
    try handler.perform([faceLandmarksRequest], on: pixelBuffer)
}

Медицина и уелнес — Face Detection се използва за анализ на асиметрия на лицето (диагностика на неврологични нарушения), оценка на пулса чрез микро-вибрации на кожата (фотоплетизмография през камера), определяне на влажността на кожата. ML Kit Face Detection + OpenCV предоставят достатъчна точност за предварителен скрининг без медицинска сертификация. За производствена медицина се изисква FDA/CE сертификация.