VNRequest — co to je, architektura požadavků Vision v iOS

Co je VNRequest ve Vision?

VNRequest — je základním prvkem architektury Vision, který implementuje vzor Request-Response pro analýzu obrázků a videa. Každá podtřída VNRequest je zodpovědná za konkrétní úlohu počítačového vidění: vyhledávání obličejů, rozpoznávání textu, klasifikaci obsahu.

Architektura VNRequest odděluje „co analyzovat“ (požadavek) od „jak zpracovávat“ (handler). Vývojář nakonfiguruje požadavek (typ analýzy, další parametry) a předá jej handleru spolu s obrázkem. Handler provede požadavek a vrátí výsledky, aniž by vyžadoval od vývojáře porozumění vnitřním ML algoritmům.

Všechny podtřídy VNRequest následují jednotnou strukturu: inicializace s volitelným completion handler, konfigurace vlastností (oblast analýzy, úroveň přesnosti) a předání handleru. To činí API předvídatelným a snadno rozšiřitelným — přidání nového typu analýzy znamená vytvoření nové podtřídy VNRequest.

import Vision

// 1. Vytvořit požadavek
let request = VNDetectFaceRectanglesRequest { req, _ in
    // 3. Zpracovat výsledky
    guard let faces = req.results as? [VNFaceObservation]
    else { return }
    print("Found \\(faces.count) faces")
}

// 2. Provést přes handler
let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

Klíčové vlastnosti VNRequest: regionOfInterest (oblast zájmu na obrázku pro zrychlení analýzy), preferBackgroundProcessing (režim na pozadí), revision (verze algoritmu) a cancellationSupport. Správná konfigurace těchto vlastností umožňuje optimalizovat výkon pro konkrétní úlohu.

Podle Apple WWDC 2024 se během 7 let existence Vision počet dostupných podtříd VNRequest zvýšil z 8 (iOS 11) na více než 25 (iOS 18), pokrývajíc všechny hlavní úlohy počítačového vidění na mobilních zařízeních.

Hlavní typy VNRequest pro analýzu

Vision zahrnuje více než 25 podtříd VNRequest, rozdělených do kategorií: detekce, rozpoznávání, sledování a klasifikace. Každá podtřída dědí z VNRequest a přidává vlastnosti specifické pro daný úkol.

Detekce a rozpoznávání

VNDetectFaceRectanglesRequest — hledání obličejů na obrázku. Vrací VNFaceObservation se souřadnicemi bounding box a confidence. VNDetectHumanRectanglesRequest — podobně pro lidi. VNDetectHumanBodyPoseRequest — určení pózy člověka (kosterní body).

Analýza textu

VNRecognizeTextRequest — rozpoznávání textu s podporou 13 jazyků a dvěma úrovněmi přesnosti. VNReadCodeRequest — pro specializované kódy. VNDetectTextRectanglesRequest — hledání oblastí textu bez rozpoznávání (rychlejší, ale pouze obdélníky).

Klasifikace a analýza

VNClassifyImageRequest — klasifikace obrazu podle 1000 kategorií ImageNet. VNGenerateImageFeaturePrintRequest — extrakce feature vectoru pro porovnávání obrázků. VNDetectContoursRequest — detekce obrysů objektů.

// VNImageRequestHandler pro jeden obrázek
let imageHandler = VNImageRequestHandler(
    cgImage: cgImage,
    orientation: orientation,
    options: [:])

// VNSequenceRequestHandler pro video
let sequenceHandler = VNSequenceRequestHandler()
try sequenceHandler.perform([trackingRequest],
    on: cgImage)

func handleTextResults(request: VNRequest) {
    guard let observations = request.results
        as? [VNRecognizedTextObservation]
    else { return }

    for observation in observations {
        let bbox = observation.boundingBox
        let text = observation.topCandidates(1).first ?? ""
        print("\\(text) at \\(bbox)")
    }
}

import Vision

// Více požadavků v jednom poli
let faceRequest = VNDetectFaceRectanglesRequest()
let textRequest = VNRecognizeTextRequest()
let barcodeRequest = VNDetectBarcodesRequest()
let classifyRequest = VNClassifyImageRequest()

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([
    faceRequest,
    textRequest,
    barcodeRequest,
    classifyRequest
])

// Přístup k výsledkům z každého požadavku
print("Faces: \\(faceRequest.results?.count ?? 0)")
print("Text blocks: \\(textRequest.results?.count ?? 0)")

import Vision
import CoreML

// Zabalit model Core ML
guard let mlModel = try VNCoreMLModel(
    for: MyCustomClassifier().model)
else { return }

// Vytvořit VNCoreMLRequest
let coreMLRequest = VNCoreMLRequest(model: mlModel) { request, _ in
    guard let results = request.results
        as? [VNClassificationObservation]
    else { return }

    for result in results.prefix(5) {
        print("\\(result.identifier): \\(result.confidence)"
    }
}
coreMLRequest.imageCropAndScaleOption = .centerCrop
coreMLRequest.regionOfInterest = faceBoundingBox