应用中的Face Detection：什么是它、方法和库

什么是Face Detection：原理和算法

Face Detection — 是计算机视觉任务，用于确定图像中是否存在人脸及其位置。算法返回边界框（面部周围的矩形）和置信度分数（是人脸的概率）。现代算法还返回面部特征点 — 关键点（眼睛、眉毛、鼻子、嘴巴、面部轮廓）。Face Detection是许多机器学习任务的第一阶段：身份识别、AR滤镜、注意力分析。

算法历史始于Viola-Jones（2001）— 基于CPU的Haar-like特征级联。2010年代，HOG + SVM（方向梯度直方图）占主导地位。自2016年以来，所有现代算法都基于卷积神经网络（CNN）：MTCNN、RetinaFace、SSH、MobileNet-SSD、YOLO-Face。GPU上的CNN算法提供95–99%的准确率，而经典方法为85–90%。根据WiderFace基准测试（2025），RetinaFace在最困难子集上显示出96.3%的mAP。

MTCNN（多任务级联CNN） — 经典的三阶段检测器：P-Net（提议网络）查找候选区域，R-Net（细化网络）进行过滤，O-Net（输出网络）精确化边界框并输出特征点。MTCNN在CPU上以640x480分辨率每帧30–50毫秒的速度运行。对于移动设备，MTCNN在不使用GPU的情况下提供了速度和精度的最佳平衡。

实时面部检测需要30+ FPS的视频。这得益于NPU（神经处理单元）— Qualcomm Hexagon、Apple Neural Engine、MediaTek APU在现代智能手机上可以实现。NPU在2–5毫秒内完成检测，功耗为50–100毫瓦，而GPU功耗为500–2000毫瓦。对于持续检测（相机始终开启），NPU是唯一不会导致设备过热的实用选择。

Android和iOS上的ML Kit Face Detection

ML Kit Face Detection — 在移动设备上进行面部检测的最流行SDK。ML Kit提供两种模式：轮廓模式（468个面部轮廓点，用于精确贴图）和分类模式（确定情绪：微笑、睁眼、张嘴）。模式可以在FaceDetectorOptions中组合。ML Kit使用Google的MobileNetV2-SSD神经网络，通过NNAPI/GPU Delegate进行优化。

ML Kit Face Detection配置：setPerformanceMode(FACE_DETECTION_FAST / ACCURATE)、setLandmarkMode（关键点）、setContourMode（轮廓点）、setClassificationMode（情绪）。要获得最大速度，请使用FAST + LANDMARKS_ONLY + 无轮廓。对于AR滤镜 — ACCURATE + ALL_CONTOURS。根据Google（2025）的数据，FAST模式在5毫秒内提供98%的准确率，ACCURATE模式在15毫秒内提供99%的准确率。

// 带轮廓的ML Kit面部检测
val options = FaceDetectorOptions.Builder()
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .enableTracking()
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val trackingId = face.trackingId
            val smile = face.smilingProbability
            val leftEyeOpen = face.leftEyeOpenProbability
        }
    }

ML Kit中的面部跟踪 — 视频流的独特功能。每个检测到的面部都被分配一个跟踪ID（整数），该ID在帧之间保持不变。这允许将AR对象附加到特定面部而无需重新检测。跟踪器使用光流法，即使面部部分被遮挡也能保持ID。当面部离开画面超过1秒时，跟踪ID会重置。

Apple Vision Framework：VNDetectFaceRectanglesRequest

Apple Vision Framework — 用于Face Detection的原生iOS框架，通过Core ML在Apple Neural Engine上运行。Vision提供VNDetectFaceRectanglesRequest（仅边界框）和VNDetectFaceLandmarksRequest（带轮廓点）。Vision Framework从iOS 11开始内置于iOS中，不需要额外的SDK — 它是Foundation的一部分。

Vision Framework的优势：零依赖第三方库，通过Apple Neural Engine（ANE）在A12+芯片上运行，通过exifOrientation自动处理图像方向，支持CIDetectorAccuracy用于调整速度/精度。Vision返回包含边界框（归一化坐标0..1）和特征点（VNFaceLandmarkRegion2D）的VNFaceObservation。

iOS上的Vision与ML Kit：Vision在较旧设备（A12–A15）上更快，因为它使用Apple的原生神经引擎。ML Kit使用Google模型，在困难角度（侧面、强烈倾斜）下可能更准确。对于简单检测（相机、照片）— Vision。对于AR滤镜和轮廓遮罩 — ML Kit（468个点对比Vision的76个点）。

import Vision

let request = VNDetectFaceRectanglesRequest { request, error in
    guard let observations = request.results as? [VNFaceObservation] else { return }
    for face in observations {
        let rect = face.boundingBox // 归一化0..1
        let confidence = face.confidence
    }
}

let handler = VNImageRequestHandler(
    cgImage: cgImage, orientation: .up, options: [:]
)
try handler.perform([request])

VNDetectFaceLandmarksRequest — 用于关键点的扩展版本。为每个点组返回VNFaceLandmarkRegion2D：leftEye、rightEye、nose、faceContour、innerLips、outerLips。每个组都是CGPoint数组（归一化）。Vision不像ML Kit那样返回468个点 — 只返回76个关键点。对于精确的面部遮罩，ML Kit更优；对于基本需求 — Vision。

OpenCV Haar Cascade：经典方法

OpenCV Haar Cascade — 基于Haar-like特征级联的经典Face Detection算法（Viola-Jones，2001）。尽管历史悠久，Haar Cascade仍然用于资源受限的项目：Raspberry Pi、物联网设备、嵌入式系统。该算法不需要GPU或NPU — 在任何CPU上以VGA分辨率每帧5–15毫秒的速度运行。

LBP Cascade（局部二值模式） — OpenCV中Haar Cascade的替代方案。LBP更快（2–5毫秒）且对光照较不敏感，但会产生更多误报。Haar更准确（85–90%对比LBP的80–85%），但对眩光和阴影敏感。对于移动应用，OpenCV Face Detection在精度上不如神经网络方法，但在兼容性上胜出 — 可在任何设备上运行。

// 通过CascadeClassifier的OpenCV面部检测
val cascadeFile = File(context.filesDir, "haarcascade_frontalface_default.xml")
val faceDetector = CascadeClassifier(cascadeFile.absolutePath)

val gray = Mat()
Imgproc.cvtColor(colorFrame, gray, Imgproc.COLOR_RGBA2GRAY)
val faces = MatOfRect()
faceDetector.detectMultiScale(gray, faces)

faces.toList().forEach { rect ->
    // rect = 面部边界框
}

OpenCV的缺点：高误报率（高达15%），在侧面角度下表现不佳（>30° — 精度降至50%），没有额外模型就无法提供特征点，缺少帧间跟踪。对于现代移动应用，OpenCV Face Detection是用于没有Google Play Services的设备（华为、亚马逊Fire）的备用方案。主要场景使用ML Kit或Vision。

Face Detection与Face Recognition的区别

Face Detection — 确定图像中人脸的存在和位置。结果：边界框和关键点。Face Recognition — 基于面部识别个人身份：确定人脸属于谁。Face Recognition使用嵌入（表示人脸的数值向量）并将其与已知人脸数据库进行比较。Face Detection是Face Recognition的强制性第一阶段。

Face Recognition技术：FaceNet（Google，2015）— 用于学习128–512维浮点数值嵌入的三元组损失，ArcFace（2019）— 加性角度间隔损失，最佳准确率（LFW上99.83%）。对于移动应用，Face Recognition需要自定义TFLite模型 — ML Kit不提供用于身份识别的现成API（仅检测）。

移动设备上的隐私：Face Detection是安全的 — 不存储用户数据。Face Recognition需要存储嵌入或照片进行比较。Apple要求用户明确同意使用Face Recognition，并禁止将其用于广告。Google ML Kit故意不包含Face Recognition，以避免隐私风险。对于无识别的检测 — 没有限制。

面部活体检测 — 额外的验证，确保面部是真实的（非照片/视频）。使用眼球运动分析（眨眼检测）、微表情、深度图（3D摄像头）。活体检测对于银行和支付应用是强制性的。ML Kit没有内置的活体检测功能 — 使用自定义模型或Google Play Integrity API进行验证。

Face Detection在移动应用中的应用

AR滤镜和面具 — Face Detection最流行的应用。基于面部轮廓点（468个点）应用3D面具、帽子、眼镜、胡子。ML Kit Face Detection + SceneKit（iOS）或Filament（Android）创建实时AR体验。Snapchat和Instagram使用基于MobileNet + MTCNN的自有检测器。对于自定义AR滤镜，ML Kit和3D引擎就足够了。

照片编辑器和修饰 — Face Detection确定面部区域以进行自动校正：均匀肤色、去除瑕疵、改善眼睛和牙齿。OpenCV + ML Kit Face Detection为选择性高斯模糊（平滑皮肤）和眼睛对比度提供坐标。实际应用 — Facetune、BeautyPlus、YouCam Makeup。

注意力控制 — 确定视线方向（注视检测）。Face Detection返回边界框和眼睛特征点。根据瞳孔相对于眼睛的位置，确定用户在看哪里：屏幕、左、右、上。应用于在线教育（确保学生观看讲座）、广告（注意力指标）、驾驶辅助（疲劳监测）。

// 用于AR滤镜的ARKit + Vision
let faceLandmarksRequest = VNDetectFaceLandmarksRequest { req, _ in
    guard let face = req.results?.first as? VNFaceObservation else { return }
    if let leftEye = face.landmarks?.leftEye {
        // 左眼上的AR对象叠加
    }
}

let handler = VNSequenceRequestHandler()
for pixelBuffer in videoStream {
    try handler.perform([faceLandmarksRequest], on: pixelBuffer)
}

医疗与健康 — Face Detection用于分析面部不对称（诊断神经系统疾病）、通过皮肤微振动评估脉搏（通过摄像头进行光电容积描记法）、确定皮肤水分。ML Kit Face Detection + OpenCV为无法疗认证的初步筛查提供了足够的精度。对于生产医疗，需要FDA/CE认证。