VNRequest — définition, fonctionnement des requêtes Vision dans iOS

Qu’est-ce que VNRequest dans Vision ?

VNRequest est un élément fondamental de l’architecture Vision, implémentant le modèle Requête-Réponse pour l’analyse d’images et de vidéos. Chaque sous-classe de VNRequest est responsable d’une tâche spécifique de vision par ordinateur : détection de visages, reconnaissance de texte, classification de contenu.

L’architecture VNRequest sépare « ce qu’il faut analyser » (la requête) de « comment traiter » (le gestionnaire). Le développeur configure la requête (type d’analyse, paramètres supplémentaires) et la transmet au gestionnaire avec l’image. Le gestionnaire exécute la requête et renvoie les résultats sans exiger que le développeur comprenne les algorithmes ML internes.

Toutes les sous-classes de VNRequest suivent une structure unifiée : initialisation avec un completion handler optionnel, configuration des propriétés (région d’intérêt, niveau de précision) et transmission au gestionnaire. Cela rend l’API prévisible et facilement extensible — ajouter un nouveau type d’analyse signifie créer une nouvelle sous-classe de VNRequest.

import Vision

// 1. Créer la requête
let request = VNDetectFaceRectanglesRequest { req, _ in
    // 3. Traiter les résultats
    guard let faces = req.results as? [VNFaceObservation]
    else { return }
    print("Found \\(faces.count) faces")
}

// 2. Exécuter via le gestionnaire
let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

Propriétés clés de VNRequest : regionOfInterest (zone d’intérêt sur l’image pour accélérer l’analyse), preferBackgroundProcessing (mode arrière-plan), revision (version de l’algorithme) et cancellationSupport. Une configuration appropriée de ces propriétés permet d’optimiser les performances pour une tâche spécifique.

Selon Apple WWDC 2024, en 7 années d’existence de Vision, le nombre de sous-classes VNRequest disponibles est passé de 8 (iOS 11) à plus de 25 (iOS 18), couvrant toutes les tâches principales de vision par ordinateur sur les appareils mobiles.

Principaux Types de VNRequest pour l’Analyse

Vision comprend plus de 25 sous-classes VNRequest divisées en catégories : détection, reconnaissance, suivi et classification. Chaque sous-classe hérite de VNRequest et ajoute des propriétés spécifiques à la tâche.

Détection et Reconnaissance

VNDetectFaceRectanglesRequest — détection de visages dans les images. Renvoie VNFaceObservation avec les coordonnées du bounding box et la confiance. VNDetectHumanRectanglesRequest — similaire pour les personnes. VNDetectHumanBodyPoseRequest — estimation de la posture humaine (points squelettiques).

Analyse de Texte

VNRecognizeTextRequest — reconnaissance de texte avec prise en charge de 13 langues et deux niveaux de précision. VNReadCodeRequest — pour les codes spécialisés. VNDetectTextRectanglesRequest — recherche de zones de texte sans reconnaissance (plus rapide, mais seulement des rectangles).

Classification et Analyse

VNClassifyImageRequest — classification d’images dans 1 000 catégories ImageNet. VNGenerateImageFeaturePrintRequest — extraction de vecteurs de caractéristiques pour la comparaison d’images. VNDetectContoursRequest — détection de contours d’objets.

VNImageRequestHandler et VNSequenceRequestHandler

VNImageRequestHandler — un gestionnaire pour les images statiques. Il accepte CGImage, CIImage ou Data (JPEG/PNG) et exécute une ou plusieurs instances VNRequest. C’est la principale façon d’utiliser Vision pour les photos, les captures d’écran et les images téléchargées.

VNSequenceRequestHandler — un gestionnaire pour les séquences d’images (images vidéo). Il accepte le même ensemble de types d’images mais est conçu pour un traitement image par image en conservant l’état entre les images (nécessaire pour le suivi d’objets).

// VNImageRequestHandler pour image unique
let imageHandler = VNImageRequestHandler(
    cgImage: cgImage,
    orientation: orientation,
    options: [:])

// VNSequenceRequestHandler pour vidéo
let sequenceHandler = VNSequenceRequestHandler()
try sequenceHandler.perform([trackingRequest],
    on: cgImage)

Différence importante : VNSequenceRequestHandler ne prend pas en charge l’exécution parallèle de plusieurs requêtes — chaque appel perform() traite un ensemble de requêtes pour une image. Pour le traitement vidéo multithread, créez des instances de gestionnaire séparées pour différents threads.

VNImageRequestHandler peut s’exécuter sur une file d’attente en arrière-plan. Apple recommande DispatchQueue.global(qos: .userInitiated) pour les scénarios interactifs (l’utilisateur attend les résultats) et .background pour le traitement par lots (par exemple, analyse de l’intégralité de la bibliothèque de photos).

VNObservation : Structure des Résultats

VNObservation — la classe de base pour tous les résultats de requêtes Vision. Chaque sous-classe de VNObservation contient des données spécifiques au type d’analyse : coordonnées du bounding box, texte reconnu, confiance, identifiant unique (uuid) et horodatage (timeRange).

Sous-classes clés de VNObservation : VNFaceObservation (résultat de détection faciale avec bounding box et landmarks), VNRecognizedTextObservation (texte reconnu avec candidats), VNBarcodeObservation (code-barres décodé avec payload et symbology), VNClassificationObservation (catégorie de classification avec confiance).

func handleTextResults(request: VNRequest) {
    guard let observations = request.results
        as? [VNRecognizedTextObservation]
    else { return }

    for observation in observations {
        let bbox = observation.boundingBox
        let text = observation.topCandidates(1).first ?? ""
        print("\\(text) at \\(bbox)")
    }
}

Propriété confidence (de 0.0 à 1.0) est présente dans toutes les instances VNObservation et indique la confiance du modèle dans le résultat. Apple recommande de rejeter les observations avec confidence < 0,5 pour la plupart des tâches. Pour les applications critiques (médecine, sécurité), le seuil doit être relevé à 0,8–0,9.

VNObservation contient également timeRange (pour les requêtes vidéo) et uuid (ID unique pour la correspondance entre images). Cela permet de suivre le même objet (par exemple, un visage) à travers une séquence d’images vidéo.

Exécuter Plusieurs Requêtes Simultanément

L’un des principaux avantages de VNRequest est la capacité d’exécuter plusieurs requêtes différentes sur la même image en un seul appel handler.perform(). Vision optimise en interne l’ordre d’exécution et réutilise les calculs communs (par exemple, le prétraitement d’image).

Cela permet d’obtenir un ensemble complet de données sur une image en un seul passage : détecter simultanément les visages, reconnaître le texte, trouver les codes-barres et classifier le contenu. Cette approche est nettement plus efficace que d’appeler chaque requête séquentiellement.

import Vision

// Plusieurs requêtes dans un seul tableau
let faceRequest = VNDetectFaceRectanglesRequest()
let textRequest = VNRecognizeTextRequest()
let barcodeRequest = VNDetectBarcodesRequest()
let classifyRequest = VNClassifyImageRequest()

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([
    faceRequest,
    textRequest,
    barcodeRequest,
    classifyRequest
])

// Accéder aux résultats de chaque requête
print("Faces: \\(faceRequest.results?.count ?? 0)")
print("Text blocks: \\(textRequest.results?.count ?? 0)")

Limitations : toutes les requêtes ne peuvent pas être combinées avec d’autres. Par exemple, VNGenerateImageFeaturePrintRequest doit être exécuté séparément. Apple recommande de regrouper les requêtes par type (détection, reconnaissance, classification) et de tester les combinaisons sur les appareils cibles.

Performances : combiner 3–4 requêtes dans un seul perform() est 30–40% plus rapide que l’exécution séquentielle car Vision réutilise les calculs ML partagés et le prétraitement d’image (mise à l’échelle, correction des couleurs).

Requêtes Personnalisées avec VNCoreMLRequest

VNCoreMLRequest est un pont entre Core ML et Vision, permettant d’exécuter n’importe quel modèle Core ML comme une requête Vision. Le modèle est encapsulé dans VNCoreMLModel, transmis à VNCoreMLRequest, et Vision gère automatiquement le prétraitement de l’image (mise à l’échelle, recadrage à la taille d’entrée du modèle).

VNCoreMLRequest hérite de VNRequest, donc il prend en charge toutes les fonctionnalités standard : regionOfInterest, completion handler, plusieurs requêtes. Cela permet de combiner un modèle ML personnalisé avec les détecteurs intégrés de Vision dans un seul pipeline.

import Vision
import CoreML

// Encapsuler le modèle Core ML
guard let mlModel = try VNCoreMLModel(
    for: MyCustomClassifier().model)
else { return }

// Créer VNCoreMLRequest
let coreMLRequest = VNCoreMLRequest(model: mlModel) { request, _ in
    guard let results = request.results
        as? [VNClassificationObservation]
    else { return }

    for result in results.prefix(5) {
        print("\\(result.identifier): \\(result.confidence)"
    }
}
coreMLRequest.imageCropAndScaleOption = .centerCrop
coreMLRequest.regionOfInterest = faceBoundingBox

imageCropAndScaleOption détermine comment Vision met à l’échelle l’image pour l’entrée du modèle : .centerCrop (recadrage centré), .scaleFill (étirement) ou .scaleFit (mise à l’échelle avec conservation des proportions). Le choix dépend du type de modèle et de la position de l’objet dans l’image.

Exemple pratique : détection de visages via VNDetectFaceRectanglesRequest, puis classification de chaque visage via VNCoreMLRequest avec un modèle personnalisé (par exemple, estimation du sexe ou de l’âge). En combinant deux requêtes dans un seul perform(), vous obtenez un pipeline complet d’analyse faciale en un seul passage.