VNRequest — vad är det, arkitekturen för Vision-begäran i iOS

Vad är VNRequest i Vision?

VNRequest — är det grundläggande elementet i Vision-arkitekturen som implementerar Request-Response-mönstret för analys av bilder och video. Varje underklass av VNRequest ansvarar för en specifik uppgift inom datorseende: sökning av ansikten, textigenkänning, klassificering av innehåll.

Arkitekturen för VNRequest separerar ”vad som ska analyseras” (begäran) från ”hur det ska bearbetas” (handler). Utvecklaren konfigurerar begäran (analystyp, ytterligare parametrar) och skickar den till handlern tillsammans med bilden. Handlern utför begäran och returnerar resultaten utan att utvecklaren behöver förstå de interna ML-algoritmerna.

Alla underklasser av VNRequest följer en enhetlig struktur: initiering med valfri completion handler, konfiguration av egenskaper (analysregion, noggrannhetsnivå) och överföring till handlern. Detta gör API:et förutsägbart och lätt att utöka — att lägga till en ny analystyp innebär att skapa en ny underklass av VNRequest.

import Vision

// 1. Skapa begäran
let request = VNDetectFaceRectanglesRequest { req, _ in
    // 3. Bearbeta resultat
    guard let faces = req.results as? [VNFaceObservation]
    else { return }
    print("Found \\(faces.count) faces")
}

// 2. Utför via handler
let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

Viktiga egenskaper för VNRequest: regionOfInterest (intresseområde på bilden för att snabba upp analysen), preferBackgroundProcessing (bakgrundsläge), revision (algoritmversion) och cancellationSupport. Korrekt konfiguration av dessa egenskaper låter dig optimera prestanda för en specifik uppgift.

Enligt Apple WWDC 2024 har antalet tillgängliga underklasser av VNRequest under Vision’s 7-åriga existens växt från 8 (iOS 11) till över 25 (iOS 18), vilket täcker alla huvudsakliga datorseendeuppgifter på mobila enheter.

Huvudtyper av VNRequest för analys

Vision innehåller över 25 underklasser av VNRequest, indelade i kategorier: detektering, igenkänning, spårning och klassificering. Varje underklass ärver från VNRequest och lägger till uppgiftsspecifika egenskaper.

Detektering och igenkänning

VNDetectFaceRectanglesRequest — sökning efter ansikten i bilden. Returnerar VNFaceObservation med bounding box-koordinater och confidence. VNDetectHumanRectanglesRequest — analogt för människor. VNDetectHumanBodyPoseRequest — bestämning av mänsklig pose (skelettpunkter).

Textanalys

VNRecognizeTextRequest — textigenkänning med stöd för 13 språk och två noggrannhetsnivåer. VNReadCodeRequest — för specialiserade koder. VNDetectTextRectanglesRequest — sökning efter textområden utan igenkänning (snabbare, men endast rektanglar).

Klassificering och analys

VNClassifyImageRequest — klassificering av bild enligt 1000 ImageNet-kategorier. VNGenerateImageFeaturePrintRequest — extrahering av feature vector för att jämföra bilder. VNDetectContoursRequest — detektering av objektkonturer.

// VNImageRequestHandler för en bild
let imageHandler = VNImageRequestHandler(
    cgImage: cgImage,
    orientation: orientation,
    options: [:])

// VNSequenceRequestHandler för video
let sequenceHandler = VNSequenceRequestHandler()
try sequenceHandler.perform([trackingRequest],
    on: cgImage)

func handleTextResults(request: VNRequest) {
    guard let observations = request.results
        as? [VNRecognizedTextObservation]
    else { return }

    for observation in observations {
        let bbox = observation.boundingBox
        let text = observation.topCandidates(1).first ?? ""
        print("\\(text) at \\(bbox)")
    }
}

import Vision

// Flera begäran i en array
let faceRequest = VNDetectFaceRectanglesRequest()
let textRequest = VNRecognizeTextRequest()
let barcodeRequest = VNDetectBarcodesRequest()
let classifyRequest = VNClassifyImageRequest()

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([
    faceRequest,
    textRequest,
    barcodeRequest,
    classifyRequest
])

// Åtkomst till resultat från varje begäran
print("Faces: \\(faceRequest.results?.count ?? 0)")
print("Text blocks: \\(textRequest.results?.count ?? 0)")

import Vision
import CoreML

// Linda in Core ML-modell
guard let mlModel = try VNCoreMLModel(
    for: MyCustomClassifier().model)
else { return }

// Skapa VNCoreMLRequest
let coreMLRequest = VNCoreMLRequest(model: mlModel) { request, _ in
    guard let results = request.results
        as? [VNClassificationObservation]
    else { return }

    for result in results.prefix(5) {
        print("\\(result.identifier): \\(result.confidence)"
    }
}
coreMLRequest.imageCropAndScaleOption = .centerCrop
coreMLRequest.regionOfInterest = faceBoundingBox