Face Detection sa mga App: ano ito, pamamaraan at library

Ano ang Face Detection: mga prinsipyo at algorithm

Face Detection — isang computer vision task para sa pagtukoy ng presensya at lokasyon ng mga mukha ng tao sa isang imahe. Ang algorithm ay nagbabalik ng bounding box (parihaba sa paligid ng mukha) at confidence score (probability na ito ay isang mukha). Ang modernong algorithms ay nagbabalik din ng facial landmarks — mga pangunahing punto (mata, kilay, ilong, bibig, contour ng mukha). Ang Face Detection ay unang yugto para sa maraming ML tasks: pagkilala sa tao, AR filters, attention analytics.

Kasaysayan ng algorithms ay nagsimula sa Viola-Jones (2001) — cascade ng Haar-like features sa CPU. Noong 2010s, nangingibabaw ang HOG + SVM (Histogram of Oriented Gradients). Mula noong 2016, lahat ng modernong algorithms ay nakabatay sa convolutional neural networks (CNN): MTCNN, RetinaFace, SSH, MobileNet-SSD, YOLO-Face. Ang CNN algorithms sa GPU ay nagbibigay ng 95–99% accuracy vs 85–90% para sa classic methods. Ayon sa WiderFace benchmark (2025), ang RetinaFace ay nagpapakita ng mAP 96.3% sa pinakamahirap na subset.

MTCNN (Multi-Task Cascaded CNN) — isang classic three-stage detector: P-Net (Proposal Network) ay nakakahanap ng candidates, R-Net (Refine Network) ay nag-filter, O-Net (Output Network) ay nagpi-pino ng bounding box at naglalabas ng landmarks. Ang MTCNN ay gumagana sa CPU na may bilis na 30–50 ms per frame sa resolution na 640x480. Para sa mobile devices, ang MTCNN ay nag-aalok ng optimal balance ng speed at accuracy nang walang GPU.

Real-time Face Detection ay nangangailangan ng 30+ FPS para sa video. Ito ay maaaring makamit sa modernong smartphone salamat sa NPU (Neural Processing Unit) — Qualcomm Hexagon, Apple Neural Engine, MediaTek APU. Ang NPU ay nagsasagawa ng detection sa 2–5 ms na may power consumption na 50–100 mW, samantalang ang GPU ay kumokonsumo ng 500–2000 mW. Para sa continuous detection (laging naka-on ang camera), ang NPU ay ang tanging praktikal na opsyon nang walang overheating ng device.

ML Kit Face Detection sa Android at iOS

ML Kit Face Detection — ang pinakasikat na SDK para sa pag-detect ng mukha sa mobile devices. Ang ML Kit ay nag-aalok ng dalawang mode: contour mode (468 contour points ng mukha para sa tumpak na paglalagay ng mask) at classification mode (pagdetermina ng emosyon: ngiti, bukas na mata, bukas na bibig). Ang mga mode ay pinagsasama sa FaceDetectorOptions. Ang ML Kit ay gumagamit ng Google neural network MobileNetV2-SSD na may optimization sa pamamagitan ng NNAPI/GPU Delegate.

Configuration ng ML Kit Face Detection: setPerformanceMode(FACE_DETECTION_FAST / ACCURATE), setLandmarkMode (key points), setContourMode (contour points), setClassificationMode (emosyon). Para sa maximum speed gamitin ang FAST + LANDMARKS_ONLY + walang contour. Para sa AR filters — ACCURATE + ALL_CONTOURS. Ayon sa Google (2025), ang FAST mode ay nagbibigay ng 98% accuracy sa 5 ms, ACCURATE — 99% sa 15 ms.

// ML Kit Face Detection na may contours
val options = FaceDetectorOptions.Builder()
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .enableTracking()
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val trackingId = face.trackingId
            val smile = face.smilingProbability
            val leftEyeOpen = face.leftEyeOpenProbability
        }
    }

Face Tracking sa ML Kit — natatanging feature para sa video stream. Bawat detected na mukha ay binibigyan ng tracking ID (integer) na nananatili sa pagitan ng frames. Ito ay nagpapahintulot ng pag-attach ng AR objects sa isang partikular na mukha nang walang re-detection. Ang tracker ay gumagamit ng Optical Flow at pinapanatili ang ID kahit na bahagyang natatakpan ang mukha. Ang tracking ID ay nire-reset kapag ang mukha ay umalis sa frame nang higit sa 1 segundo.

Apple Vision Framework: VNDetectFaceRectanglesRequest

Apple Vision Framework — ang native iOS framework para sa Face Detection, gumagana sa pamamagitan ng Core ML sa Apple Neural Engine. Ang Vision ay nagbibigay ng VNDetectFaceRectanglesRequest (bounding box lang) at VNDetectFaceLandmarksRequest (may contour points). Ang Vision Framework ay naka-embed sa iOS simula iOS 11 at hindi nangangailangan ng karagdagang SDK — bahagi ito ng Foundation.

Mga bentahe ng Vision Framework: zero dependency sa third-party libraries, paggana sa pamamagitan ng Apple Neural Engine (ANE) sa A12+ chips, automatic processing ng image orientation sa pamamagitan ng exifOrientation, support para sa CIDetectorAccuracy para sa speed/accuracy adjustment. Ang Vision ay nagbabalik ng VNFaceObservation na may bounding box (normalized coordinates 0..1) at landmarks (VNFaceLandmarkRegion2D).

Vision vs ML Kit sa iOS: Ang Vision ay mas mabilis sa mas lumang devices (A12–A15) dahil gumagamit ito ng native neural engines ng Apple. Ang ML Kit ay gumagamit ng Google models at maaaring mas tumpak sa mahihirap na anggulo (profile, malakas na pagkiling). Para sa simpleng detection (camera, photo) — Vision. Para sa AR filters at contour masks — ML Kit (468 points vs 76 points sa Vision).

import Vision

let request = VNDetectFaceRectanglesRequest { request, error in
    guard let observations = request.results as? [VNFaceObservation] else { return }
    for face in observations {
        let rect = face.boundingBox // na-normalize 0..1
        let confidence = face.confidence
    }
}

let handler = VNImageRequestHandler(
    cgImage: cgImage, orientation: .up, options: [:]
)
try handler.perform([request])

VNDetectFaceLandmarksRequest — extended version para sa key points. Nagbabalik ng VNFaceLandmarkRegion2D para sa bawat group ng points: leftEye, rightEye, nose, faceContour, innerLips, outerLips. Bawat group ay array ng CGPoint (normalized). Ang Vision ay hindi nagbabalik ng 468 points tulad ng ML Kit — 76 key points lang. Para sa tumpak na face mask ay mas gusto ang ML Kit; para sa basic — Vision.

OpenCV Haar Cascade: classic approach

OpenCV Haar Cascade — ang classic Face Detection algorithm batay sa cascade ng Haar-like features (Viola-Jones, 2001). Sa kabila ng edad nito, ang Haar Cascade ay ginagamit pa rin sa mga proyektong may limitadong resources: Raspberry Pi, IoT devices, embedded systems. Ang algorithm ay hindi nangangailangan ng GPU o NPU — gumagana sa anumang CPU na may bilis na 5–15 ms per frame sa VGA resolution.

LBP Cascade (Local Binary Patterns) — alternatibo sa Haar Cascade sa OpenCV. Ang LBP ay mas mabilis (2–5 ms) at hindi gaanong sensitibo sa ilaw, ngunit nagbibigay ng mas maraming false positive results. Ang Haar ay mas tumpak (85–90% vs 80–85% para sa LBP), ngunit sensitibo sa glare at shadows. Para sa mobile apps, ang OpenCV Face Detection ay mas mababa sa neural network methods sa accuracy, ngunit nananalo sa compatibility — gumagana sa anumang device.

// OpenCV Face Detection sa pamamagitan ng CascadeClassifier
val cascadeFile = File(context.filesDir, "haarcascade_frontalface_default.xml")
val faceDetector = CascadeClassifier(cascadeFile.absolutePath)

val gray = Mat()
Imgproc.cvtColor(colorFrame, gray, Imgproc.COLOR_RGBA2GRAY)
val faces = MatOfRect()
faceDetector.detectMultiScale(gray, faces)

faces.toList().forEach { rect ->
    // rect = bounding box ng mukha
}

Mga kakulangan ng OpenCV: mataas na false positive rate (hanggang 15%), mahinang performance sa profile angles (>30° — pagbaba ng accuracy sa 50%), walang landmarks nang walang karagdagang modelo, walang tracking sa pagitan ng frames. Para sa modernong mobile apps, ang OpenCV Face Detection ay fallback para sa devices na walang Google Play Services (Huawei, Amazon Fire). Para sa main scenarios — ML Kit o Vision.

Face Detection vs Face Recognition: pagkakaiba

Face Detection — pagtukoy ng presensya at posisyon ng mukha sa imahe. Resulta: bounding box at key points. Face Recognition — pagkilala ng tao batay sa mukha: pagtukoy kung kanino ang mukha. Ang Face Recognition ay gumagamit ng embeddings (vector ng mga numero na kumakatawan sa mukha) at inihahambing ang mga ito sa database ng mga kilalang mukha. Ang Face Detection ay mandatory first stage para sa Face Recognition.

Mga teknolohiya ng Face Recognition: FaceNet (Google, 2015) — triplet loss para sa pag-aaral ng embeddings na may sukat na 128–512 float values, ArcFace (2019) — additive angular margin loss, pinakamahusay na accuracy (99.83% sa LFW). Para sa mobile apps, ang Face Recognition ay nangangailangan ng custom TFLite model — ang ML Kit ay hindi nagbibigay ng ready API para sa pagkilala ng tao (detection lang).

Privacy sa mobile devices: Ang Face Detection ay ligtas — hindi nag-iimbak ng data tungkol sa user. Ang Face Recognition ay nangangailangan ng pag-iimbak ng embeddings o mga larawan para sa paghahambing. Ang Apple ay nangangailangan ng explicit consent ng user para sa Face Recognition at ipinagbabawal ang paggamit para sa advertising. Ang Google ML Kit ay sadyang hindi kasama ang Face Recognition upang maiwasan ang privacy risks. Para sa detection nang walang identification — walang restrictions.

Face Liveness Detection — karagdagang pagsusuri na ang mukha ay totoo (hindi larawan/video). Gumagamit ng eye movement analysis (blink detection), micro-mimicry, depth map (3D camera). Ang Liveness Detection ay mandatory para sa banking at payment apps. Ang ML Kit ay walang built-in na liveness — gumamit ng custom model o Google Play Integrity API para sa verification.

Paggamit ng Face Detection sa mobile apps

AR filters at mask — pinakasikat na paggamit ng Face Detection. Batay sa contour points ng mukha (468 points) ay inilalapat ang 3D masks, sumbrero, salamin, bigote. Ang ML Kit Face Detection + SceneKit (iOS) o Filament (Android) ay lumilikha ng real-time AR experience. Ang Snapchat at Instagram ay gumagamit ng sariling detectors batay sa MobileNet + MTCNN. Para sa custom AR filters, sapat na ang ML Kit at 3D engine.

Photo editor at retouch — tinutukoy ng Face Detection ang area ng mukha para sa automatic correction: pagpapakinis ng kulay ng balat, pag-aalis ng mga depekto, pagpapabuti ng mata at ngipin. Ang OpenCV + ML Kit Face Detection ay nagbibigay ng coordinates para sa Selective Gaussian Blur (pagpakinis ng balat) at contrast ng mata. Real application — Facetune, BeautyPlus, YouCam Makeup.

Kontrol ng atensyon — pagtukoy ng direksyon ng tingin (gaze detection). Ang Face Detection ay nagbabalik ng bounding box at landmarks ng mata. Batay sa posisyon ng pupil relative sa mata ay tinutukoy kung saan tumitingin ang user: sa screen, kaliwa, kanan, taas. Inilalapat sa e-learning (pagtiyak na ang estudyante ay nanonood ng lektura), advertising (attention metrics), driver assistance (fatigue monitoring).

// ARKit + Vision para sa AR filter
let faceLandmarksRequest = VNDetectFaceLandmarksRequest { req, _ in
    guard let face = req.results?.first as? VNFaceObservation else { return }
    if let leftEye = face.landmarks?.leftEye {
        // AR object overlay sa kaliwang mata
    }
}

let handler = VNSequenceRequestHandler()
for pixelBuffer in videoStream {
    try handler.perform([faceLandmarksRequest], on: pixelBuffer)
}

Medisina at wellness — ang Face Detection ay ginagamit para sa pagsusuri ng facial asymmetry (diagnosis ng neurological disorders), pagsusuri ng pulso sa pamamagitan ng micro-vibrations ng balat (photoplethysmography sa pamamagitan ng camera), pagtukoy ng moisture ng balat. Ang ML Kit Face Detection + OpenCV ay nagbibigay ng sapat na accuracy para sa preliminary screening nang walang medical certification. Para sa production medicine ay kinakailangan ang FDA/CE certification.