VNRequest — ano ito, arkitektura ng mga request ng Vision sa iOS

Ano ang VNRequest sa Vision?

VNRequest — ay ang pangunahing elemento ng arkitektura ng Vision na nagpapatupad ng Request-Response pattern para sa pagsusuri ng mga larawan at video. Bawat subclass ng VNRequest ay responsable para sa isang tiyak na gawain ng computer vision: paghahanap ng mga mukha, pagkilala ng teksto, pag-uuri ng nilalaman.

Ang arkitektura ng VNRequest ay naghihiwalay sa “kung ano ang susuriin” (request) mula sa “kung paano ipoproseso” (handler). Ini-configure ng developer ang request (uri ng pagsusuri, karagdagang parameters) at ipinapasa ito sa handler kasama ang larawan. Isinasagawa ng handler ang request at ibinabalik ang mga resulta, nang hindi nangangailangan ang developer na maunawaan ang panloob na ML algorithms.

Lahat ng subclass ng VNRequest ay sumusunod sa isang pare-parehong istraktura: initialization na may opsyonal na completion handler, configuration ng mga property (rehiyon ng pagsusuri, antas ng katumpakan) at pagpasa sa handler. Ginagawa nitong predictable at madaling palawakin ang API — ang pagdagdag ng bagong uri ng pagsusuri ay nangangahulugan ng paggawa ng bagong subclass ng VNRequest.

import Vision

// 1. Gumawa ng request
let request = VNDetectFaceRectanglesRequest { req, _ in
    // 3. Iproseso ang mga resulta
    guard let faces = req.results as? [VNFaceObservation]
    else { return }
    print("Found \\(faces.count) faces")
}

// 2. Isagawa sa pamamagitan ng handler
let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

Mga pangunahing property ng VNRequest: regionOfInterest (lugar ng interes sa larawan upang mapabilis ang pagsusuri), preferBackgroundProcessing (background mode), revision (bersyon ng algorithm) at cancellationSupport. Ang tamang configuration ng mga property na ito ay nagbibigay-daan sa iyo na i-optimize ang pagganap para sa isang tiyak na gawain.

Ayon sa Apple WWDC 2024, sa loob ng 7 taon ng pagkakaroon ng Vision, ang bilang ng mga available na VNRequest subclass ay lumago mula 8 (iOS 11) hanggang mahigit 25 (iOS 18), na sumasaklaw sa lahat ng pangunahing gawain ng computer vision sa mga mobile device.

Mga pangunahing uri ng VNRequest para sa pagsusuri

Vision ay may kasamang mahigit 25 subclass ng VNRequest, nahahati sa mga kategorya: detection, pagkilala, pagsubaybay at klasipikasyon. Bawat subclass ay nagmamana mula sa VNRequest at nagdaragdag ng mga property na tiyak sa gawain.

Detection at pagkilala

VNDetectFaceRectanglesRequest — paghahanap ng mga mukha sa larawan. Nagbabalik ng VNFaceObservation na may mga coordinate ng bounding box at confidence. VNDetectHumanRectanglesRequest — kahalintulad para sa mga tao. VNDetectHumanBodyPoseRequest — pagtukoy ng pose ng tao (mga skeletal points).

Pagsusuri ng teksto

VNRecognizeTextRequest — pagkilala ng teksto na may suporta para sa 13 wika at dalawang antas ng katumpakan. VNReadCodeRequest — para sa mga espesyalisadong code. VNDetectTextRectanglesRequest — paghahanap ng mga lugar ng teksto nang walang pagkilala (mas mabilis, ngunit mga parihaba lamang).

Klasipikasyon at pagsusuri

VNClassifyImageRequest — klasipikasyon ng larawan ayon sa 1000 kategorya ng ImageNet. VNGenerateImageFeaturePrintRequest — extraction ng feature vector para sa paghahambing ng mga larawan. VNDetectContoursRequest — detection ng mga contour ng bagay.

// VNImageRequestHandler para sa isang larawan
let imageHandler = VNImageRequestHandler(
    cgImage: cgImage,
    orientation: orientation,
    options: [:])

// VNSequenceRequestHandler para sa video
let sequenceHandler = VNSequenceRequestHandler()
try sequenceHandler.perform([trackingRequest],
    on: cgImage)

func handleTextResults(request: VNRequest) {
    guard let observations = request.results
        as? [VNRecognizedTextObservation]
    else { return }

    for observation in observations {
        let bbox = observation.boundingBox
        let text = observation.topCandidates(1).first ?? ""
        print("\\(text) at \\(bbox)")
    }
}

import Vision

// Maramihang request sa isang array
let faceRequest = VNDetectFaceRectanglesRequest()
let textRequest = VNRecognizeTextRequest()
let barcodeRequest = VNDetectBarcodesRequest()
let classifyRequest = VNClassifyImageRequest()

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([
    faceRequest,
    textRequest,
    barcodeRequest,
    classifyRequest
])

// I-access ang mga resulta mula sa bawat request
print("Faces: \\(faceRequest.results?.count ?? 0)")
print("Text blocks: \\(textRequest.results?.count ?? 0)")

import Vision
import CoreML

// I-wrap ang Core ML model
guard let mlModel = try VNCoreMLModel(
    for: MyCustomClassifier().model)
else { return }

// Gumawa ng VNCoreMLRequest
let coreMLRequest = VNCoreMLRequest(model: mlModel) { request, _ in
    guard let results = request.results
        as? [VNClassificationObservation]
    else { return }

    for result in results.prefix(5) {
        print("\\(result.identifier): \\(result.confidence)"
    }
}
coreMLRequest.imageCropAndScaleOption = .centerCrop
coreMLRequest.regionOfInterest = faceBoundingBox