앱에서 Face Detection: 개념, 방법 및 라이브러리

Face Detection이란: 원리 및 알고리즘

Face Detection은 이미지에서 사람 얼굴의 존재와 위치를 감지하는 컴퓨터 비전 작업입니다. 알고리즘은 바운딩 박스(얼굴 주변 사각형)와 confidence score(얼굴일 확률)를 반환합니다. 최신 알고리즘은 facial landmarks — 주요 포인트(눈, 눈썹, 코, 입, 얼굴 윤곽)도 반환합니다. Face Detection은 개인 인식, AR 필터, 주의 분석 등 많은 ML 작업의 첫 단계입니다.

알고리즘의 역사는 Viola-Jones(2001)에서 시작되었습니다 — CPU에서 Haar-like 특징의 캐스케이드입니다. 2010년대에는 HOG + SVM(Histogram of Oriented Gradients)이 지배적이었습니다. 2016년 이후 모든 최신 알고리즘은 컨볼루션 신경망(CNN) 기반입니다: MTCNN, RetinaFace, SSH, MobileNet-SSD, YOLO-Face. GPU의 CNN 알고리즘은 95~99%의 정확도를 제공하는 반면, 클래식 방법은 85~90%입니다. WiderFace 벤치마크(2025)에 따르면 RetinaFace는 가장 어려운 하위 집합에서 96.3%의 mAP를 달성합니다.

MTCNN(Multi-Task Cascaded CNN)은 클래식 3단계 검출기입니다: P-Net(Proposal Network)이 후보를 찾고, R-Net(Refine Network)이 필터링하며, O-Net(Output Network)이 바운딩 박스를 정제하고 랜드마크를 출력합니다. MTCNN은 640x480 해상도에서 CPU로 프레임당 30~50ms로 작동합니다. 모바일 기기의 경우 MTCNN은 GPU 없이 속도와 정확도의 최적 균형을 제공합니다.

실시간 Face Detection은 비디오에 30+ FPS가 필요합니다. 이는 NPU(Neural Processing Unit) — Qualcomm Hexagon, Apple Neural Engine, MediaTek APU 덕분에 최신 스마트폰에서 달성 가능합니다. NPU는 50~100mW의 전력 소비로 2~5ms에 감지를 수행하는 반면, GPU는 500~2000mW를 소비합니다. 항상 켜진 감지(카메라 항상 활성)의 경우, 기기 과열 없이 NPU가 유일한 실용적 옵션입니다.

Android 및 iOS의 ML Kit Face Detection

ML Kit Face Detection은 모바일 기기에서 얼굴 감지를 위한 가장 인기 있는 SDK입니다. ML Kit는 두 가지 모드를 제공합니다: 윤곽 모드(정확한 마스크 오버레이를 위한 468개 얼굴 윤곽 포인트)와 분류 모드(감정 감지: 미소, 눈 뜸, 입 벌림). 모드는 FaceDetectorOptions에서 결합됩니다. ML Kit는 NNAPI/GPU Delegate를 통한 최적화와 함께 Google의 MobileNetV2-SSD 신경망을 사용합니다.

ML Kit Face Detection 구성: setPerformanceMode(FACE_DETECTION_FAST / ACCURATE), setLandmarkMode(주요 포인트), setContourMode(윤곽 포인트), setClassificationMode(감정). 최대 속도를 위해 FAST + LANDMARKS_ONLY + 윤곽 없음을 사용하세요. AR 필터의 경우 — ACCURATE + ALL_CONTOURS. Google(2025)에 따르면 FAST 모드는 5ms에서 98% 정확도, ACCURATE는 15ms에서 99% 정확도를 제공합니다.

// ML Kit Face Detection with contours
val options = FaceDetectorOptions.Builder()
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .enableTracking()
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val trackingId = face.trackingId
            val smile = face.smilingProbability
            val leftEyeOpen = face.leftEyeOpenProbability
        }
    }

ML Kit의 Face Tracking — 비디오 스트림을 위한 고유 기능입니다. 감지된 각 얼굴에는 프레임 간에 유지되는 추적 ID(정수)가 할당됩니다. 이를 통해 재감지 없이 특정 얼굴에 AR 객체를 연결할 수 있습니다. 트래커는 Optical Flow를 사용하며 얼굴이 부분적으로 가려져도 ID를 유지합니다. 얼굴이 1초 이상 프레임에서 벗어나면 추적 ID가 재설정됩니다.

Apple Vision Framework: VNDetectFaceRectanglesRequest

Apple Vision Framework는 Apple Neural Engine에서 Core ML을 통해 작동하는 iOS 네이티브 Face Detection 프레임워크입니다. Vision은 VNDetectFaceRectanglesRequest(바운딩 박스만)와 VNDetectFaceLandmarksRequest(윤곽 포인트 포함)를 제공합니다. Vision Framework는 iOS 11부터 iOS에 내장되어 있으며 추가 SDK가 필요 없습니다 — Foundation의 일부입니다.

Vision Framework의 장점: 타사 라이브러리에 대한 의존성 제로, A12+ 칩에서 Apple Neural Engine(ANE)을 통해 작동, exifOrientation을 통한 자동 이미지 방향 처리, 속도/정확도 조정을 위한 CIDetectorAccuracy 지원. Vision은 바운딩 박스(정규화된 좌표 0..1)와 랜드마크(VNFaceLandmarkRegion2D)가 포함된 VNFaceObservation을 반환합니다.

iOS에서 Vision vs ML Kit: Vision은 네이티브 Apple 신경 엔진을 사용하므로 구형 기기(A12~A15)에서 더 빠릅니다. ML Kit는 Google 모델을 사용하며 복잡한 각도(프로필, 강한 기울임)에서 더 정확할 수 있습니다. 단순한 감지(카메라, 사진)에는 — Vision을 사용하세요. AR 필터 및 윤곽 마스크에는 — ML Kit(Vision의 76포인트 대비 468포인트)를 사용하세요.

import Vision

let request = VNDetectFaceRectanglesRequest { request, error in
    guard let observations = request.results as? [VNFaceObservation] else { return }
    for face in observations {
        let rect = face.boundingBox // normalized 0..1
        let confidence = face.confidence
    }
}

let handler = VNImageRequestHandler(
    cgImage: cgImage, orientation: .up, options: [:]
)
try handler.perform([request])

VNDetectFaceLandmarksRequest는 주요 포인트를 위한 확장 버전입니다. 각 포인트 그룹(leftEye, rightEye, nose, faceContour, innerLips, outerLips)에 대해 VNFaceLandmarkRegion2D를 반환합니다. 각 그룹은 CGPoint(정규화됨)의 배열입니다. Vision은 ML Kit처럼 468개 포인트를 반환하지 않습니다 — 76개의 주요 포인트만 반환합니다. 정확한 얼굴 마스크에는 ML Kit가 선호되며, 기본 감지에는 Vision으로 충분합니다.

OpenCV Haar Cascade: 클래식 접근법

OpenCV Haar Cascade는 Haar-like 특징의 캐스케이드(Viola-Jones, 2001)에 기반한 클래식 Face Detection 알고리즘입니다. 오래되었음에도 불구하고 Haar Cascade는 여전히 리소스가 제한된 프로젝트(Raspberry Pi, IoT 기기, 임베디드 시스템)에서 사용됩니다. 이 알고리즘은 GPU나 NPU가 필요하지 않습니다 — VGA 해상도 프레임에서 모든 CPU로 5~10ms에 작동합니다.

LBP Cascade(Local Binary Patterns)는 OpenCV에서 Haar Cascade의 대안입니다. LBP는 더 빠르고(2~5ms) 조명에 덜 민감하지만, 더 많은 거짓 양성을 생성합니다. Haar는 더 정확하지만(LBP의 80~85% 대비 85~90%), 눈부심과 그림자에 민감합니다. 모바일 앱의 경우 OpenCV Face Detection은 정확도에서 신경망 방법에 뒤지지만, 호환성에서 우세합니다 — 모든 기기에서 작동합니다.

// OpenCV Face Detection via CascadeClassifier
val cascadeFile = File(context.filesDir, "haarcascade_frontalface_default.xml")
val faceDetector = CascadeClassifier(cascadeFile.absolutePath)

val gray = Mat()
Imgproc.cvtColor(colorFrame, gray, Imgproc.COLOR_RGBA2GRAY)
val faces = MatOfRect()
faceDetector.detectMultiScale(gray, faces)

faces.toList().forEach { rect ->
    // rect = face bounding box
}

OpenCV의 한계: 높은 거짓 양성 비율(최대 15%), 프로필 각도에서 낮은 성능(30° 초과 시 정확도 50%로 하락), 추가 모델 없이 랜드마크 없음, 프레임 간 추적 없음. 최신 모바일 앱의 경우 OpenCV Face Detection은 Google Play Services가 없는 기기(Huawei, Amazon Fire)를 위한 폴백 역할을 합니다. 주요 시나리오에서는 — ML Kit 또는 Vision을 사용하세요.

Face Detection vs Face Recognition: 차이점

Face Detection — 이미지에서 얼굴의 존재와 위치 결정. 결과: 바운딩 박스 및 주요 포인트. Face Recognition — 얼굴을 통해 개인 식별: 이 얼굴이 특정 개인의 것임을 결정. Face Recognition은 임베딩(얼굴을 나타내는 숫자 벡터)을 사용하여 알려진 얼굴 데이터베이스와 비교합니다. Face Recognition에는 Face Detection이 필수적인 첫 단계입니다.

Face Recognition 기술: FaceNet(Google, 2015) — 128~512 float 값 임베딩 학습을 위한 triplet loss, ArcFace(2019) — additive angular margin loss, 최고 정확도(LFW에서 99.83%). 모바일 앱의 경우 Face Recognition에는 맞춤형 TFLite 모델이 필요합니다 — ML Kit는 개인 식별을 위한 준비된 API를 제공하지 않습니다(감지만 제공).

모바일 기기의 개인정보: Face Detection은 안전합니다 — 사용자 데이터를 저장하지 않습니다. Face Recognition은 비교를 위해 임베딩이나 사진 저장이 필요합니다. Apple은 Face Recognition에 명시적 사용자 동의를 요구하고 광고 사용을 금지합니다. Google ML Kit는 개인정보 위험을 피하기 위해 의도적으로 Face Recognition을 포함하지 않습니다. 식별 없는 감지에는 — 제한이 없습니다.

Face Liveness Detection — 얼굴이 실제(사진/동영상이 아님)인지 확인하는 추가 검사입니다. 눈 움직임 분석(깜빡임 감지), 미세 표정, 깊이 맵(3D 카메라)을 사용합니다. Liveness Detection은 은행 및 결제 애플리케이션에 필수입니다. ML Kit에는 내장 liveness가 없습니다 — 확인을 위해 맞춤형 모델 또는 Google Play Integrity API를 사용하세요.

모바일 앱에서 Face Detection 활용

AR 필터 및 마스크 — Face Detection의 가장 인기 있는 응용입니다. 얼굴 윤곽 포인트(468개 포인트)를 기반으로 3D 마스크, 모자, 안경, 콧수염이 오버레이됩니다. ML Kit Face Detection + SceneKit(iOS) 또는 Filament(Android)가 실시간 AR 경험을 만듭니다. Snapchat과 Instagram은 MobileNet + MTCNN 기반 자체 검출기를 사용합니다. 맞춤형 AR 필터에는 ML Kit와 3D 엔진으로 충분합니다.

사진 편집기 및 리터칭 — Face Detection은 자동 보정을 위해 얼굴 영역을 식별합니다: 피부색 균형, 결점 제거, 눈과 치아 개선. OpenCV + ML Kit Face Detection은 선택적 가우시안 블러(피부 스무딩) 및 눈 대비를 위한 좌표를 제공합니다. 실제 애플리케이션 — Facetune, BeautyPlus, YouCam Makeup.

주의 모니터링 — 시선 방향 결정(gaze detection). Face Detection은 바운딩 박스와 눈 랜드마크를 반환합니다. 눈에 대한 동공의 위치로 사용자가 어디를 보는지(화면, 왼쪽, 오른쪽, 위)를 결정합니다. e-러닝(학생이 강의를 보고 있는지 모니터링), 광고(주의 메트릭), 운전자 보조(피로 모니터링)에 사용됩니다.

// ARKit + Vision for AR filter
let faceLandmarksRequest = VNDetectFaceLandmarksRequest { req, _ in
    guard let face = req.results?.first as? VNFaceObservation else { return }
    if let leftEye = face.landmarks?.leftEye {
        // AR object overlay on left eye
    }
}

let handler = VNSequenceRequestHandler()
for pixelBuffer in videoStream {
    try handler.perform([faceLandmarksRequest], on: pixelBuffer)
}

의료 및 웰니스 — Face Detection은 얼굴 비대칭 분석(신경 장애 진단), 피부 미세 진동을 통한 맥박 추정(카메라를 통한 광용적맥파 측정), 피부 보습 측정에 사용됩니다. ML Kit Face Detection + OpenCV는 의료 인증 없이 예비 스크리닝에 충분한 정확도를 제공합니다. 프로덕션 의료에는 FDA/CE 인증이 필요합니다.