VNRequest — bu nədir, iOS-da Vision sorğularının quruluşu

Vision-da VNRequest nədir?

VNRequest — şɘkil və videoların analizi üçün Request-Response nümunəsini tətbiq edən Vision arxitekturasının əsas elementidir. VNRequest-in hər bir alt sinfi kompüter görməsinin müəyyən bir tapşırığına cavabdehdir: üzlərin axtarılması, mətnin tanınması, məzmunun təsnifatı.

VNRequest arxitekturası „nə analiz etməli” (sorğu) „necə emal etməli” (handler)-dən ayırır. Tərtibatçı sorğu (analiz növü, əlavə parametrlər) konfiqurasiya edir və onu şɘkillə birlikdə handler-ə ötürür. Handler sorğu yerinə yetirir və nəticələri qaytarır, tərtibatçıdan daxili ML alqoritmlərini başa düşməyi tələb etmir.

Bütün VNRequest alt sinifləri vahid struktura malikdir: isteğə bağlı completion handler ilə işə salma, xassələrin konfiqurasiyası (analiz regionu, dəqiqlik səviyyəsi) və handler-ə ötürmə. Bu, API-ni proqnozlaşdırıla bilən və asanlıqla genişləndirilən edir — yeni analiz növü əlavə etmək VNRequest-in yeni alt sinfini yaratmaq deməkdir.

import Vision

// 1. Sorğu yarat
let request = VNDetectFaceRectanglesRequest { req, _ in
    // 3. Nəticələri emal et
    guard let faces = req.results as? [VNFaceObservation]
    else { return }
    print("Found \\(faces.count) faces")
}

// 2. Handler vasitəsilə yerinə yetir
let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

VNRequest-in əsas xassələri: regionOfInterest (analizi sürətləndirmək üçün şəkildə maraq dairəsi), preferBackgroundProcessing (fon rejimi), revision (alqoritm versiyası) və cancellationSupport. Bu xassələrin düzgün konfiqurasiyası performansı konkret tapşırığa uyğun optimallaşdırmağa imkan verir.

Apple WWDC 2024-yə görə, Vision-un 7 illik mövcudluğu ərzində mövcud VNRequest alt siniflərinin sayı 8-dən (iOS 11) 25+-dək (iOS 18) artıb, mobil cihazlarda kompüter görməsinin bütün əsas tapşırıqlarını əhatə edir.

Analiz üçün əsas VNRequest növləri

Vision 25-dən çox VNRequest alt sinfini əhatə edir, kateqoriyalara bölünüb: aşkarlama, tanıma, izləmə və təsnifat. Hər bir alt sinif VNRequest-dən miras alır və tapşırıq üçün spesifik xassələr əlavə edir.

Aşkarlama və tanıma

VNDetectFaceRectanglesRequest — şəkildə üzlərin axtarılması. bounding box koordinatları və confidence ilə VNFaceObservation qaytarır. VNDetectHumanRectanglesRequest — insanlar üçün analoji. VNDetectHumanBodyPoseRequest — insan duruşunun müəyyən edilməsi (skelet nöqtələri).

Mətn analizi

VNRecognizeTextRequest — 13 dil və iki dəqiqlik səviyyəsi ilə mətnin tanınması. VNReadCodeRequest — ixtisaslaşdırılmış kodlar üçün. VNDetectTextRectanglesRequest — tanıma olmadan mətn sahələrinin axtarılması (daha sürətli, ancaq yalnız düzbucaqlılar).

Təsnifat və analiz

VNClassifyImageRequest — şɘklin ImageNet-in 1000 kateqoriyası üzrə təsnifatı. VNGenerateImageFeaturePrintRequest — şɘkilləri müqayisə etmək üçün feature vector-un çıxarılması. VNDetectContoursRequest — obyekt konturlarının aşkarlanması.

VNImageRequestHandler və VNSequenceRequestHandler

VNImageRequestHandler — statik şɘkillər üçün handler. CGImage, CIImage və ya Data (JPEG/PNG) qəbul edir və bir və ya bir neçə VNRequest yerinə yetirir. Bu, fotoşəkillər, ekran görüntüləri və yüklənmiş şəkillər üçün Vision-dan istifadənin əsas yoludur.

VNSequenceRequestHandler — şɘkil ardıcıllıqları (video kadrları) üçün handler. Eyni şɘkil növləri dəstini qəbul edir, lakin kadrlar arasında vəziyyəti qorumaqla kadr-kadr emal üçün nəzərdə tutulub (obyekt izləməsi üçün zəruridir).

// Tək şɘkil üçün VNImageRequestHandler
let imageHandler = VNImageRequestHandler(
    cgImage: cgImage,
    orientation: orientation,
    options: [:])

// Video üçün VNSequenceRequestHandler
let sequenceHandler = VNSequenceRequestHandler()
try sequenceHandler.perform([trackingRequest],
    on: cgImage)

Əhəmiyyətli fərq: VNSequenceRequestHandler bir neçə sorğun paralel yerinə yetirilməsini dəstəkləmir — hər bir perform() çağırışı bir kadr üçün bir sorğu dəsti emal edir. Çoxiplikli video emalı üçün müxtəlif ipliklər üçün ayrı handler nümunələri yaradın.

VNImageRequestHandler fon növbəsində yerinə yetirilə bilər. Apple interaktiv ssenarilər üçün DispatchQueue.global(qos: .userInitiated) (istifadəçi nəticəni gözləyir) və toplu emal üçün .background (məsələn, bütün foto kitabxanasının analizi) tövsiyə edir.

VNObservation: nəticələrin strukturu

VNObservation — Vision sorğularının bütün nəticələri üçün bazası sinif. Hər bir VNObservation alt sinfi analiz növü üçün spesifik məlumatları ehtiva edir: bounding box koordinatları, tanınmış mətn, confidence, unikal identifikator (uuid) və vaxt damğası (timeRange).

VNObservation-ın əsas alt sinifləri: VNFaceObservation (üz aşkarlama nəticəsi bounding box və landmarks ilə), VNRecognizedTextObservation (candidates ilə tanınmış mətn), VNBarcodeObservation (payload və symbology ilə dekodlanmış ştrixkod), VNClassificationObservation (confidence ilə təsnifat kateqoriyası).

func handleTextResults(request: VNRequest) {
    guard let observations = request.results
        as? [VNRecognizedTextObservation]
    else { return }

    for observation in observations {
        let bbox = observation.boundingBox
        let text = observation.topCandidates(1).first ?? ""
        print("\\(text) at \\(bbox)")
    }
}

confidence xassəsi (0.0-dan 1.0-dək) bütün VNObservation-larda mövcuddur və modelin nəticəyə inamını göstərir. Apple əksər tapşırıqlar üçün confidence < 0.5 olan müşahidələrin atılmasını tövsiyə edir. Kritik tətbiqlər (tibb, təhlükəsizlik) üçün həddi 0.8–0.9-dək qaldırmağa dəyər.

VNObservation həmçinin timeRange (video sorğuları üçün) və uuid (kadrlar arasında uyğunlaşdırma üçün unikal ID) ehtiva edir. Bu, eyni obyekti (məsələn, üz) video kadrları ardıcıllığı üzrə izləməyə imkan verir.

Bir neçə sorğun eyni vaxtda yerinə yetirilməsi

VNRequest-in əsas üstünlüklərindən biri — bir handler.perform() çağırışında bir şɘkildə bir neçə müxtəlif sorğu yerinə yetirmək imkanı. Vision daxili olaraq icra sırasını optimallaşdırır və ümumi hesablamaları (məsələn, şɘkilin ilkin emalını) təkrar istifadə edir.

Bu, bir keçiddə şɘkil haqqında tam məlumat dəsti əldə etməyə imkan verir: eyni vaxtda üzləri müəyyən etmək, mətni tanımaq, ştrixkodları tapmaq və məzmunu təsnif etmək. Bu yanaşma hər sorğu ayrılıqda ardıcıl çağırmaqdan qat-qat səmərəlidir.

import Vision

// Tək massivdə çoxsaylı sorğular
let faceRequest = VNDetectFaceRectanglesRequest()
let textRequest = VNRecognizeTextRequest()
let barcodeRequest = VNDetectBarcodesRequest()
let classifyRequest = VNClassifyImageRequest()

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([
    faceRequest,
    textRequest,
    barcodeRequest,
    classifyRequest
])

// Hər sorğudan nəticələri əldə et
print("Faces: \\(faceRequest.results?.count ?? 0)")
print("Text blocks: \\(textRequest.results?.count ?? 0)")

Məhdudiyyətlər: bütün sorğular digɘrləri ilə birləşdirilə bilməz. Məsələn, VNGenerateImageFeaturePrintRequest ayrıca yerinə yetirilməlidir. Apple sorğuları növünə görə qruplaşdırmağı (aşkarlama, tanıma, təsnifat) və kombinasiyaları hədəf cihazlarda test etməyi tövsiyə edir.

Performans: bir perform() də 3–4 sorğun birləşdirilməsi ardıcıl icradan 30–40% sürətlidir, çünki Vision ümumi ML hesablamalarını və şɘkilin ilkin emalını (miqyaslama, rəng korreksiyası) təkrar istifadə edir.

VNCoreMLRequest ilə xüsusi sorğular

VNCoreMLRequest — Core ML ilə Vision arasında körpüdür, istənilən Core ML modelini Vision sorğu kimi işə salmağa imkan verir. Model VNCoreMLModel-ə bürülür, VNCoreMLRequest-ə ötürülür və Vision avtomatik olaraq şɘklin ilkin emalını (miqyaslama, modelin giriş ölçüsünə uyğun kəsmə) yerinə yetirir.

VNCoreMLRequest VNRequest-dən miras alır, buna görə bütün standart imkanları dəstəkləyir: regionOfInterest, completion handler, çoxsaylı sorğular. Bu, xüsusi ML modelini Vision-un daxili aşkarlayıcıları ilə bir pipeline-də birləşdirməyə imkan verir.

import Vision
import CoreML

// Core ML modelini sar
guard let mlModel = try VNCoreMLModel(
    for: MyCustomClassifier().model)
else { return }

// VNCoreMLRequest yarat
let coreMLRequest = VNCoreMLRequest(model: mlModel) { request, _ in
    guard let results = request.results
        as? [VNClassificationObservation]
    else { return }

    for result in results.prefix(5) {
        print("\\(result.identifier): \\(result.confidence)"
    }
}
coreMLRequest.imageCropAndScaleOption = .centerCrop
coreMLRequest.regionOfInterest = faceBoundingBox

imageCropAndScaleOption Vision-un şɘkli modelin girişinə necə miqyaslayacağını müəyyən edir: .centerCrop (mərkəzdən kəsmə), .scaleFill (uzatma) və ya .scaleFit (nisbətləri qoruyaraq miqyaslama). Seçim modelin növündən və şɘkildə obyektin yerləşməsindən asılıdır.

Praktik nümunə: VNDetectFaceRectanglesRequest vasitəsilə üzlərin aşkarlanması, sonra hər bir üzün VNCoreMLRequest ilə xüsusi model vasitəsilə təsnifatı (məsələn, cins və ya yaşın müəyyən edilməsi). İki sorğu bir perform()-də birləşdirərək, bir keçiddə tam üz analizi pipeline-ı əldə edirsiniz.