Pose Detection: wat is het, modellen en werkingsprincipe

Wat is Pose Detection: basis en metrieken

Pose Detection (ook bekend als Pose Estimation) verwijst naar de taak van het bepalen van semantische belangrijke punten van het menselijk lichaam uit een afbeelding of video. De Top-down benadering detecteert eerst de persoon (Object Detection), bepaalt vervolgens de houding. De Bottom-up benadering vindt alle landmarks in de afbeelding, groepeert ze vervolgens per persoon (OpenPose). Voor mobiele apparaten wordt bottom-up gebruikt — sneller bij meerdere personen in beeld. ML Kit en BlazePose gebruiken een single-stage benadering — detectie + houding in een enkele doorgang.

COCO Keypoints — standaardset van 17 punten: neus, ogen (2), oren (2), schouders (2), ellebogen (2), polsen (2), heupen (2), knieën (2), enkels (2). MediaPipe BlazePose gebruikt 33 punten en voegt toe: tenen, hielen, middelpunt van de romp, gezichtspunten. Hoe meer punten, hoe nauwkeuriger de houdingsanalyse, maar hoe hoger de rekenbelasting. Voor fitness-apps zijn 17–20 punten voldoende. Voor volledige analyse (yoga, dans) — 33 punten. Voor AR-filters — 33 punten + 468 gezichtspunten (MediaPipe Face Mesh).

PCK (Percentage of Correct Keypoints) — nauwkeurigheidsmetriek voor Pose Detection. Berekend als het aandeel punten dat binnen een bepaalde afstand van de ground truth valt (meestal 0.05–0.15 van de bounding box-grootte van de persoon). ML Kit Pose Detection: 94% PCK@0.1. BlazePose Full: 96% PCK@0.1. MoveNet Lightning: 91% PCK@0.1. OKS (Object Keypoint Similarity) — metriek gebruikt in COCO, die rekening houdt met de schaal van de persoon en de moeilijkheidsgraad van het punt. mAP@OKS — standaardmetriek voor benchmarks.

Keypoint Visibility: elke landmark heeft een score (0..1) die aangeeft hoe zeker het model is van het punt en of het zichtbaar is. Punten met score < 0.5 worden als onzichtbaar beschouwd (bedekt, buiten beeld). Gebruik voor houdingsanalyse alleen zichtbare punten. Voor het beoordelen van uitlijning — bereken confidence-weighted distances, waarbij punten met een lage score minder gewicht hebben in de metriek.

ML Kit Pose Detection op Android en iOS

ML Kit Pose Detection — bibliotheek van Google voor het bepalen van houding op het apparaat. Ondersteunt 33 landmarks, inclusief gezichtspunten, tenen en hielen. Modi: Accurate Mode (14 MB model, 15–30 ms, hoge nauwkeurigheid) en Streaming Mode (5 MB, 5–10 ms, voor real-time). Streaming Mode gebruikt een licht model met tracking — na het eerste frame volgt het beweging zonder exacte posities opnieuw te detecteren, wat tot 60 FPS oplevert.

ML Kit Pose Detection API: PoseDetector (opties: setDetectorMode, setPerformanceMode) → InputImage → Pose (List<PoseLandmark>). Elke PoseLandmark heeft: landmarkType (38 types), position (PointF3D), inFrameLikelihood (0..1). Pose biedt ook: boundingBox van de persoon, lijst met landmarks, methode getLandmark(type). Voor pose-classificatie gebruikt u hoeken tussen botten: shoulderAngle, elbowAngle, hipAngle — berekend via Vector3D tussen aangrenzende landmarks.

val options = PoseDetectorOptions.Builder()
    .setDetectorMode(PoseDetectorOptions.STREAM_MODE)
    .setPerformanceMode(PoseDetectorOptions.PERFORMANCE_MODE_FAST)
    .build()

val detector = PoseDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { pose ->
        val leftElbow = pose.getLandmark(PoseLandmark.LEFT_ELBOW)
        val leftShoulder = pose.getLandmark(PoseLandmark.LEFT_SHOULDER)
        val leftWrist = pose.getLandmark(PoseLandmark.LEFT_WRIST)
        val elbowAngle = calculateAngle(
            leftShoulder.position, leftElbow.position, leftWrist.position
        )
    }

ML Kit op iOS: Pose Detection is beschikbaar via ML Kit CocoaPods. De API is identiek aan Android: PoseDetector → UIImage → Pose → PoseLandmark. Op iOS gebruikt ML Kit Core ML en ANE (A12+), wat 10–20 ms latentie oplevert in Accurate Mode op iPhone 15 Pro. Streaming Mode — 3–8 ms, tot 120 FPS. Op iOS werkt ML Kit Pose Detection sneller dan MediaPipe BlazePose (Core ML-versnelling), maar is het minder dan BlazePose qua FPS op oudere apparaten (iPhone X–11).

MediaPipe BlazePose: architectuur en 3D

MediaPipe BlazePose — krachtig model voor Pose Detection van Google Research. Gebruikt een hybride detector-decoder pipeline-architectuur gebaseerd op MobileNetV2 + Feature Pyramid Network. BlazePose Full: 33 landmarks + 3D-coördinaten (diepte z). BlazePose Lite: 33 landmarks (2D) zonder diepte. Beide modellen zijn beschikbaar in MediaPipe Tasks Vision op Android, iOS, Python en Web. BlazePose Full verwerkt 30–60 FPS op GPU, Lite — 60+ FPS.

3D Pose Estimation met BlazePose: het model voorspelt een z-coördinaat voor elke landmark, waardoor diepte (benadering/verwijdering van ledematen) kan worden beoordeeld zonder stereocamera. De z-coördinaat wordt berekend in metrische ruimte (meters) ten opzichte van de camera. BlazePose 3D-nauwkeurigheid: 37 mm MPJPE (Mean Per Joint Position Error) op openbare benchmarks — voldoende voor fitness en AR, onvoldoende voor medische diagnose. Voor ARKit/ARFoundation biedt BlazePose 3D natuurlijke diepte.

// MediaPipe Pose Detection Tasks Vision
val options = PoseLandmarkerOptions.Builder()
    .setBaseOptions(BaseOptions.builder()
        .setModelAssetPath("pose_landmarker_full.task")
        .build())
    .setDelegate(Delegate.GPU)
    .build()

val landmaker = PoseLandmarker.createFromOptions(context, options)

val result = landmaker.detect(MPImage.fromBitmap(bitmap))
result.landmarks.forEach { pose ->
    pose.forEach { landmark ->
        drawLandmark(landmark.x, landmark.y, landmark.z)
    }
}

BlazePose vs ML Kit Pose Detection: BlazePose is sneller (60+ FPS vs 30 FPS), ondersteunt 3D-coördinaten, werkt cross-platform via MediaPipe. ML Kit is eenvoudiger te integreren (geen MediaPipe SDK nodig), bevat voorgetrainde modellen met hoge nauwkeurigheid. Voor native iOS-projecten — ML Kit Pose Detection (betere optimalisatie voor ANE). Voor cross-platform projecten (Flutter, React Native) — MediaPipe BlazePose (enkel model voor alle platforms). Voor nauwkeurigheid in veeleisende scènes — beide modellen zijn vergelijkbaar.

MoveNet: Lightning en Thunder van TensorFlow

MoveNet — familie van Pose Detection-modellen van TensorFlow, geoptimaliseerd voor TFLite. Lightning (8 MB, INT8 — 4 MB): 17 COCO keypoints, 91% PCK, 8–15 ms latentie, 30+ FPS. Thunder (13 MB, INT8 — 6 MB): 17 keypoints, 95% PCK, 25–40 ms latentie, 20+ FPS. MoveNet gebruikt CenterNet-architectuur + bilineaire interpolatie voor heatmaps met hoge resolutie. MoveNet ondersteunt multi-pose detectie (tot 6 personen). Modellen zijn beschikbaar in TensorFlow Hub.

MoveNet Lightning vs Thunder: Lightning — voor real-time apps met hoge FPS (fitness, AR-filters). Thunder — voor nauwkeurige houdingsanalyse (revalidatie, sportanalyse) op apparaten met GPU. Beide modellen worden geconverteerd naar Core ML via tf-coreml voor iOS. MoveNet is ook beschikbaar via de TFLite Task Vision PoseLandmarker API. Aanbeveling: begin met Lightning, als de nauwkeurigheid onvoldoende is — ga over op Thunder (slechts +15 ms latentie overhead).

// MoveNet Inference with TFLite
Interpreter interpreter = new Interpreter(loadModel(context));
TensorImage image = TensorImage.fromBitmap(bitmap);
image.load(Bitmap.createScaledBitmap(bitmap, 192, 192, true));

float[][] output = new float[1][51];
interpreter.run(image.getTensorBuffer(), output);

float[] keypoints = output[0];
for (int i = 0; i < 17; i++) {
    float y = keypoints[i * 3];
    float x = keypoints[i * 3 + 1];
    float score = keypoints[i * 3 + 2];
    drawKeypoint(x, y, score);
}

MoveNet Multi-Pose: detectie van tot 6 personen in beeld. In plaats van de standaard heatmap-benadering gebruikt MoveNet person detection + pose refinement: eerst detecteert het personen (centroid-based), vervolgens beoordeelt het de houding van elk. Multi-pose modus is 2–3x langzamer dan single-pose: Lightning — 25–50 ms (6 personen). Gebruik voor fitness-apps met een enkele gebruiker single-pose. Voor groepsactiviteiten (yoga, crossfit) — multi-pose met framebeperking om batterij te sparen.

Pose-classificatie: van punten naar acties

Pose Classification — fase na detectie: omzetting van landmarks naar semantische acties (staat, zit, heeft hand opgeheven, doet squat). Benaderingen: Rule-based (handmatige regels — hoeken tussen botten), ML-based (logistische regressie of Random Forest op landmark-vector), DL-based (LSTM-classificator van houdingssequentie over frames). Rule-based — 50–80% nauwkeurigheid, eenvoudig en snel. ML-based — 85–95% nauwkeurigheid met 200+ gelabelde voorbeelden. LSTM — 90–98% nauwkeurigheid op tijdreeksen (video).

Hoeken tussen botten: voor elk punt worden hoeken met aangrenzende punten berekend. Voorbeelden: right elbow angle (shoulder → elbow → wrist), right knee angle (hip → knee → ankle), torso angle (midden schouders → midden heupen). Hoeken zijn invariant voor schaal en positie van de persoon op het scherm. Normalisatie van hoeken naar bereik [0, 1] maakt classificatie van de houding mogelijk met een eenvoudige drempelregel: als elbowAngle < 30° — arm gebogen, als > 150° — gestrekt.

// Op regels gebaseerde squat-classificator
fun classifySquat(pose: Pose): SquatPhase {
    val kneeAngle = angle(
        pose.getLandmark(PoseLandmark.LEFT_HIP),
        pose.getLandmark(PoseLandmark.LEFT_KNEE),
        pose.getLandmark(PoseLandmark.LEFT_ANKLE)
    )
    return when {
        kneeAngle > 140f -> SquatPhase.STANDING
        kneeAngle < 90f  -> SquatPhase.SQUAT
        else           -> SquatPhase.TRANSITION
    }
}

MediaPipe Pose Classification — voorgetrainde classificatoren in MediaPipe Tasks: squats, push-ups, plank, beenheffingen. De classificator ontvangt een lijst met landmarks en retourneert de actie + betrouwbaarheid. Bevat temporele filtering (temporal filter): HED (Holt Exponential Double Smoothing) voor vloeiende overgangen tussen houdingen. Voor aangepaste acties — train een classificator op 100–500 voorbeelden via MediaPipe Model Maker (TensorFlow Lite + metadata).

Toepassing van Pose Detection in fitness en revalidatie

Fitnesstrackers met techniekcorrectie — de app analyseert de houding van de gebruiker tijdens de oefening en geeft gesproken aanwijzingen: „laat het bekken zakken”, ’kantel de romp niet”. ML Kit Pose Detection + rule-based classificator telt herhalingen en beoordeelt de kwaliteit. Squat: knee angle < 90° — correcte squat, back angle < 45° — gevaarlijke romphelling. Push-up: elbow angle < 90° in het laagste punt — volledige push-up. Pull-up: kin boven de stang.

Revalidatie en fysiotherapie — Pose Detection wordt gebruikt voor afstandsbediening van fysiotherapie-oefeningen. De arts stelt een referentiehouding in (bijv. schouderabductie van 45°), de app meet de huidige hoek en afwijkingen. BlazePose 3D biedt hoeknauwkeurigheid van ±3° — voldoende voor klinische beoordeling. Frequentie: 1 frame per 3–5 seconden (batterijbesparing). On-device — privacy van medische gegevens van de patiënt. Revalidatie na beroerte: tracking van hand-to-shoulder, elbow-extension, hip-flexion.

AR-filters en effecten — Pose Detection vormt de basis van AR-filters van sociale media (TikTok, Instagram, Snapchat). Landmarks van hoofd, schouders en handen worden gebruikt voor het over elkaar heen leggen van maskers, animaties en decoratieve elementen. MediaPipe BlazePose Full + Face Mesh (468 punten) levert 120+ FPS op vlaggenschipapparaten. ARKit/ARCore Face Tracking + Pose Detection — combinatie voor full-body AR. Vereisten: FPS > 30, motion-to-photon latentie < 20 ms.

// AR-filter met pose-landmarks
let request = VNDetectHumanBodyPoseRequest { req, _ in
    guard let observation = req.results?.first as? VNHumanBodyPoseObservation else { return }
    let keypoints = try observation.recognizedPoints(.all)
    let rightShoulder = keypoints[VNHumanBodyPoseObservation.JointName.rightShoulder]
    DispatchQueue.main.async {
        arView.placeFilter(at: rightShoulder?.location ?? .zero)
    }
}

Sportanalyse — professionele techniekbeoordeling: biomechanische analyse van hardlopen (cadence, stride length, arm swing symmetry), zwemmen (body roll, elbow angle bij slag), tennis (shoulder rotation, wrist snap). MoveNet Thunder met nabewerking biedt voldoende nauwkeurigheid voor niet-professionele analyse. Voor professionele sport is 3D Motion Capture (Vicon, OptiTrack) vereist, maar Pose Detection op de telefoon is een toegankelijk alternatief voor de massamarkt. Synchronisatie van hoeken tussen frames — belangrijkste component.