VNRequest — mi ez, a Vision kérések felépítése iOS-ben

Mi az a VNRequest a Vision-ban?

VNRequest — a Vision architektúra alapvető eleme, amely a Request-Response mintát valósítja meg képek és videók elemzéséhez. A VNRequest minden alosztálya egy adott számítógépes látási feladatért felelős: arcok keresése, szöveg felismerése, tartalom osztályozása.

A VNRequest architektúra elválasztja a „mit elemezzünk” (kérés) a „hogyan dolgozzuk fel” (handler) résztől. A fejlesztő konfigurálja a kérést (elemzés típusa, további paraméterek), és átadja a handler-nek a képpel együtt. A handler végrehajtja a kérést és visszaadja az eredményeket anélkül, hogy a fejlesztőnek meg kellene értenie a belső ML algoritmusokat.

A VNRequest összes alosztálya egységes szerkezetet követ: inicializálás opcionális completion handler-rel, tulajdonságok konfigurálása (elemzési régió, pontossági szint) és átadás a handler-nek. Ez az API-t kiszámíthatóvá és könnyen bővíthetővé teszi — új elemzési típus hozzáadása a VNRequest új alosztályának létrehozását jelenti.

import Vision

// 1. Kérés létrehozása
let request = VNDetectFaceRectanglesRequest { req, _ in
    // 3. Eredmények feldolgozása
    guard let faces = req.results as? [VNFaceObservation]
    else { return }
    print("Found \\(faces.count) faces")
}

// 2. Végrehajtás handler-en keresztül
let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

A VNRequest legfontosabb tulajdonságai: regionOfInterest (érdeklődési terület a képen az elemzés gyorsításához), preferBackgroundProcessing (háttér mód), revision (algoritmus verzió) és cancellationSupport. Ezen tulajdonságok helyes konfigurálása lehetővé teszi a teljesítmény optimalizálását egy adott feladathoz.

Az Apple WWDC 2024 szerint a Vision 7 éves fennállása alatt a VNRequest elérhető alosztályainak száma 8-ról (iOS 11) több mint 25-re (iOS 18) nőtt, lefedve az összes főbb számítógépes látási feladatot mobil eszközökön.

A VNRequest fő típusai elemzéshez

Vision több mint 25 VNRequest alosztályt tartalmaz, kategóriákra bontva: észlelés, felismerés, követés és osztályozás. Minden alosztály örökli a VNRequest-et és hozzáadja a feladatspecifikus tulajdonságokat.

Észlelés és felismerés

VNDetectFaceRectanglesRequest — arcok keresése a képen. Visszaadja a VNFaceObservation-t bounding box koordinátákkal és confidence-szel. VNDetectHumanRectanglesRequest — hasonlóan emberekre. VNDetectHumanBodyPoseRequest — emberi testtartás meghatározása (csontváz pontok).

Szövegelemzés

VNRecognizeTextRequest — szövegfelismerés 13 nyelv támogatásával és két pontossági szinttel. VNReadCodeRequest — speciális kódokhoz. VNDetectTextRectanglesRequest — szöveges területek keresése felismerés nélkül (gyorsabb, de csak téglalapok).

Osztályozás és elemzés

VNClassifyImageRequest — kép osztályozása 1000 ImageNet kategória szerint. VNGenerateImageFeaturePrintRequest — feature vector kinyerése képek összehasonlításához. VNDetectContoursRequest — objektum kontúrok észlelése.

// VNImageRequestHandler egyetlen képhez
let imageHandler = VNImageRequestHandler(
    cgImage: cgImage,
    orientation: orientation,
    options: [:])

// VNSequenceRequestHandler videóhoz
let sequenceHandler = VNSequenceRequestHandler()
try sequenceHandler.perform([trackingRequest],
    on: cgImage)

func handleTextResults(request: VNRequest) {
    guard let observations = request.results
        as? [VNRecognizedTextObservation]
    else { return }

    for observation in observations {
        let bbox = observation.boundingBox
        let text = observation.topCandidates(1).first ?? ""
        print("\\(text) at \\(bbox)")
    }
}

import Vision

// Több kérés egy tömbben
let faceRequest = VNDetectFaceRectanglesRequest()
let textRequest = VNRecognizeTextRequest()
let barcodeRequest = VNDetectBarcodesRequest()
let classifyRequest = VNClassifyImageRequest()

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([
    faceRequest,
    textRequest,
    barcodeRequest,
    classifyRequest
])

// Eredmények elérése minden kérésből
print("Faces: \\(faceRequest.results?.count ?? 0)")
print("Text blocks: \\(textRequest.results?.count ?? 0)")

import Vision
import CoreML

// Core ML modell becsomagolása
guard let mlModel = try VNCoreMLModel(
    for: MyCustomClassifier().model)
else { return }

// VNCoreMLRequest létrehozása
let coreMLRequest = VNCoreMLRequest(model: mlModel) { request, _ in
    guard let results = request.results
        as? [VNClassificationObservation]
    else { return }

    for result in results.prefix(5) {
        print("\\(result.identifier): \\(result.confidence)"
    }
}
coreMLRequest.imageCropAndScaleOption = .centerCrop
coreMLRequest.regionOfInterest = faceBoundingBox