Face Detection di Aplikasi: apa itu, metode dan pustaka

Apa itu Face Detection: prinsip dan algoritma

Face Detection — tugas visi komputer untuk menentukan keberadaan dan lokasi wajah manusia dalam gambar. Algoritma mengembalikan bounding box (persegi panjang di sekitar wajah) dan confidence score (probabilitas bahwa itu adalah wajah). Algoritma modern juga mengembalikan facial landmarks — titik kunci (mata, alis, hidung, mulut, kontur wajah). Face Detection adalah tahap pertama untuk banyak tugas ML: pengenalan pribadi, filter AR, analitik perhatian.

Sejarah algoritma dimulai dengan Viola-Jones (2001) — kaskade fitur Haar-like di CPU. Di tahun 2010-an, HOG + SVM (Histogram of Oriented Gradients) mendominasi. Sejak 2016, semua algoritma modern didasarkan pada jaringan saraf konvolusional (CNN): MTCNN, RetinaFace, SSH, MobileNet-SSD, YOLO-Face. Algoritma CNN di GPU memberikan akurasi 95–99% dibandingkan 85–90% untuk metode klasik. Menurut benchmark WiderFace (2025), RetinaFace menunjukkan mAP 96.3% pada subset tersulit.

MTCNN (Multi-Task Cascaded CNN) — detektor tiga tahap klasik: P-Net (Proposal Network) menemukan kandidat, R-Net (Refine Network) menyaring, O-Net (Output Network) memperhalus bounding box dan mengeluarkan landmarks. MTCNN bekerja di CPU dengan kecepatan 30–50 ms per frame pada resolusi 640x480. Untuk perangkat mobile, MTCNN menawarkan keseimbangan optimal antara kecepatan dan akurasi tanpa GPU.

Real-time Face Detection membutuhkan 30+ FPS untuk video. Ini dapat dicapai di smartphone modern berkat NPU (Neural Processing Unit) — Qualcomm Hexagon, Apple Neural Engine, MediaTek APU. NPU melakukan deteksi dalam 2–5 ms dengan konsumsi daya 50–100 mW, sementara GPU mengonsumsi 500–2000 mW. Untuk deteksi terus-menerus (kamera selalu menyala) NPU adalah satu-satunya opsi praktis tanpa overheat perangkat.

ML Kit Face Detection di Android dan iOS

ML Kit Face Detection — SDK paling populer untuk deteksi wajah di perangkat mobile. ML Kit menawarkan dua mode: contour mode (468 titik kontur wajah untuk pemasangan masker yang presisi) dan classification mode (menentukan emosi: senyum, mata terbuka, mulut terbuka). Mode digabungkan dalam FaceDetectorOptions. ML Kit menggunakan jaringan saraf Google MobileNetV2-SSD dengan optimalisasi melalui NNAPI/GPU Delegate.

Konfigurasi ML Kit Face Detection: setPerformanceMode(FACE_DETECTION_FAST / ACCURATE), setLandmarkMode (titik kunci), setContourMode (titik kontur), setClassificationMode (emosi). Untuk kecepatan maksimum gunakan FAST + LANDMARKS_ONLY + tanpa kontur. Untuk filter AR — ACCURATE + ALL_CONTOURS. Menurut Google (2025), mode FAST memberikan akurasi 98% pada 5 ms, ACCURATE — 99% pada 15 ms.

// ML Kit Face Detection dengan kontur
val options = FaceDetectorOptions.Builder()
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .enableTracking()
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val trackingId = face.trackingId
            val smile = face.smilingProbability
            val leftEyeOpen = face.leftEyeOpenProbability
        }
    }

Face Tracking di ML Kit — fitur unik untuk aliran video. Setiap wajah yang terdeteksi diberi tracking ID (angka bulat) yang bertahan antar frame. Ini memungkinkan penempelan objek AR ke wajah tertentu tanpa deteksi ulang. Pelacak menggunakan Optical Flow dan mempertahankan ID bahkan saat wajah tertutup sebagian. Tracking ID direset ketika wajah meninggalkan frame selama lebih dari 1 detik.

Apple Vision Framework: VNDetectFaceRectanglesRequest

Apple Vision Framework — framework native iOS untuk Face Detection, bekerja melalui Core ML di Apple Neural Engine. Vision menyediakan VNDetectFaceRectanglesRequest (hanya bounding box) dan VNDetectFaceLandmarksRequest (dengan titik kontur). Vision Framework sudah tertanam di iOS sejak iOS 11 dan tidak memerlukan SDK tambahan — ini bagian dari Foundation.

Keunggulan Vision Framework: ketergantungan nol pada pustaka pihak ketiga, bekerja melalui Apple Neural Engine (ANE) pada chip A12+, pemrosesan orientasi gambar otomatis melalui exifOrientation, dukungan CIDetectorAccuracy untuk penyesuaian kecepatan/akurasi. Vision mengembalikan VNFaceObservation dengan bounding box (koordinat ternormalisasi 0..1) dan landmarks (VNFaceLandmarkRegion2D).

Vision vs ML Kit di iOS: Vision lebih cepat di perangkat lama (A12–A15) karena menggunakan mesin neural native Apple. ML Kit menggunakan model Google dan bisa lebih akurat pada sudut sulit (profil, kemiringan kuat). Untuk deteksi sederhana (kamera, foto) — Vision. Untuk filter AR dan masker kontur — ML Kit (468 titik vs 76 titik di Vision).

import Vision

let request = VNDetectFaceRectanglesRequest { request, error in
    guard let observations = request.results as? [VNFaceObservation] else { return }
    for face in observations {
        let rect = face.boundingBox // ternormalisasi 0..1
        let confidence = face.confidence
    }
}

let handler = VNImageRequestHandler(
    cgImage: cgImage, orientation: .up, options: [:]
)
try handler.perform([request])

VNDetectFaceLandmarksRequest — versi diperluas untuk titik kunci. Mengembalikan VNFaceLandmarkRegion2D untuk setiap grup titik: leftEye, rightEye, nose, faceContour, innerLips, outerLips. Setiap grup adalah array CGPoint (ternormalisasi). Vision tidak mengembalikan 468 titik seperti ML Kit — hanya 76 titik kunci. Untuk masker wajah presisi ML Kit lebih baik; untuk dasar — Vision.

OpenCV Haar Cascade: pendekatan klasik

OpenCV Haar Cascade — algoritma Face Detection klasik berdasarkan kaskade fitur Haar-like (Viola-Jones, 2001). Meskipun usianya sudah tua, Haar Cascade masih digunakan dalam proyek dengan sumber daya terbatas: Raspberry Pi, perangkat IoT, sistem tertanam. Algoritma tidak memerlukan GPU atau NPU — bekerja di CPU mana pun dengan kecepatan 5–15 ms per frame pada resolusi VGA.

LBP Cascade (Local Binary Patterns) — alternatif untuk Haar Cascade di OpenCV. LBP lebih cepat (2–5 ms) dan kurang sensitif terhadap pencahayaan, tetapi memberikan lebih banyak hasil positif palsu. Haar lebih akurat (85–90% vs 80–85% untuk LBP), tetapi sensitif terhadap silau dan bayangan. Untuk aplikasi mobile, OpenCV Face Detection kalah dalam akurasi dari metode jaringan saraf, tetapi unggul dalam kompatibilitas — berfungsi di perangkat apa pun.

// OpenCV Face Detection melalui CascadeClassifier
val cascadeFile = File(context.filesDir, "haarcascade_frontalface_default.xml")
val faceDetector = CascadeClassifier(cascadeFile.absolutePath)

val gray = Mat()
Imgproc.cvtColor(colorFrame, gray, Imgproc.COLOR_RGBA2GRAY)
val faces = MatOfRect()
faceDetector.detectMultiScale(gray, faces)

faces.toList().forEach { rect ->
    // rect = bounding box wajah
}

Kekurangan OpenCV: tingkat positif palsu tinggi (hingga 15%), kinerja buruk dengan sudut profil (>30° — penurunan akurasi hingga 50%), tidak ada landmarks tanpa model tambahan, tidak ada tracking antar frame. Untuk aplikasi mobile modern, OpenCV Face Detection adalah fallback untuk perangkat tanpa Google Play Services (Huawei, Amazon Fire). Untuk skenario utama — ML Kit atau Vision.

Face Detection vs Face Recognition: perbedaan

Face Detection — menentukan keberadaan dan posisi wajah dalam gambar. Hasil: bounding box dan titik kunci. Face Recognition — identifikasi seseorang berdasarkan wajah: menentukan siapa pemilik wajah tersebut. Face Recognition menggunakan embedding (vektor angka yang mewakili wajah) dan membandingkannya dengan database wajah yang dikenal. Face Detection adalah tahap pertama wajib untuk Face Recognition.

Teknologi Face Recognition: FaceNet (Google, 2015) — triplet loss untuk mempelajari embedding berukuran 128–512 nilai float, ArcFace (2019) — additive angular margin loss, akurasi terbaik (99.83% pada LFW). Untuk aplikasi mobile, Face Recognition memerlukan model TFLite kustom — ML Kit tidak menyediakan API siap pakai untuk identifikasi pribadi (hanya deteksi).

Privasi di perangkat mobile: Face Detection aman — tidak menyimpan data pengguna. Face Recognition memerlukan penyimpanan embedding atau foto untuk perbandingan. Apple memerlukan persetujuan eksplisit pengguna untuk Face Recognition dan melarang penggunaannya untuk iklan. Google ML Kit sengaja tidak menyertakan Face Recognition untuk menghindari risiko privasi. Untuk deteksi tanpa identifikasi — tidak ada batasan.

Face Liveness Detection — pemeriksaan tambahan bahwa wajah itu asli (bukan foto/video). Menggunakan analisis gerakan mata (blink detection), mikro-mimik, peta kedalaman (kamera 3D). Liveness Detection wajib untuk aplikasi perbankan dan pembayaran. ML Kit tidak memiliki liveness bawaan — gunakan model kustom atau Google Play Integrity API untuk verifikasi.

Penerapan Face Detection di aplikasi mobile

Filter AR dan masker — penerapan Face Detection paling populer. Berdasarkan titik kontur wajah (468 titik) diterapkan masker 3D, topi, kacamata, kumis. ML Kit Face Detection + SceneKit (iOS) atau Filament (Android) menciptakan pengalaman AR real-time. Snapchat dan Instagram menggunakan detektor sendiri berbasis MobileNet + MTCNN. Untuk filter AR kustom, ML Kit dan mesin 3D sudah cukup.

Editor foto dan retouching — Face Detection menentukan area wajah untuk koreksi otomatis: meratakan warna kulit, menghilangkan cacat, meningkatkan mata dan gigi. OpenCV + ML Kit Face Detection memberikan koordinat untuk Selective Gaussian Blur (menghaluskan kulit) dan kontras mata. Aplikasi nyata — Facetune, BeautyPlus, YouCam Makeup.

Kontrol perhatian — menentukan arah pandangan (gaze detection). Face Detection mengembalikan bounding box dan landmarks mata. Berdasarkan posisi pupil relatif terhadap mata ditentukan ke mana pengguna melihat: ke layar, kiri, kanan, atas. Diterapkan di e-learning (memastikan siswa melihat pelajaran), periklanan (metrik perhatian), asisten pengemudi (kontrol kelelahan).

// ARKit + Vision untuk filter AR
let faceLandmarksRequest = VNDetectFaceLandmarksRequest { req, _ in
    guard let face = req.results?.first as? VNFaceObservation else { return }
    if let leftEye = face.landmarks?.leftEye {
        // Hamparan objek AR di mata kiri
    }
}

let handler = VNSequenceRequestHandler()
for pixelBuffer in videoStream {
    try handler.perform([faceLandmarksRequest], on: pixelBuffer)
}

Kedokteran dan wellness — Face Detection digunakan untuk analisis asimetri wajah (diagnosis gangguan neurologis), evaluasi denyut nadi melalui mikrogetaran kulit (fotopletismografi melalui kamera), penentuan kelembaban kulit. ML Kit Face Detection + OpenCV memberikan akurasi yang cukup untuk skrining awal tanpa sertifikasi medis. Untuk kedokteran produksi diperlukan sertifikasi FDA/CE.