VNRequest — какво е, устройство на заявките на Vision в iOS

Какво е VNRequest в Vision?

VNRequest — е основен елемент на архитектурата на Vision, който имплементира модела Request-Response за анализ на изображения и видео. Всеки подклас на VNRequest е отговорен за конкретна задача на компютърното зрение: търсене на лица, разпознаване на текст, класификация на съдържание.

Архитектурата на VNRequest разделя „какво да анализираме” (заявка) от „как да обработваме” (handler). Разработчикът конфигурира заявката (тип анализ, допълнителни параметри) и я предава на handler-а заедно с изображението. Handler-ът изпълнява заявката и връща резултатите, без да изисква от разработчика да разбира вътрешните ML алгоритми.

Всички подкласове на VNRequest следват единна структура: инициализация с опционален completion handler, конфигуриране на свойства (регион за анализ, ниво на точност) и предаване на handler-а. Това прави API-то предвидимо и лесно разширяемо — добавянето на нов тип анализ означава създаване на нов подклас на VNRequest.

import Vision

// 1. Създаване на заявка
let request = VNDetectFaceRectanglesRequest { req, _ in
    // 3. Обработка на резултатите
    guard let faces = req.results as? [VNFaceObservation]
    else { return }
    print("Found \\(faces.count) faces")
}

// 2. Изпълнение чрез handler
let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

Ключови свойства на VNRequest: regionOfInterest (област на интерес върху изображението за ускоряване на анализа), preferBackgroundProcessing (фонов режим), revision (версия на алгоритъма) и cancellationSupport. Правилната конфигурация на тези свойства ви позволява да оптимизирате производителността за конкретна задача.

Според Apple WWDC 2024, през 7-годишното съществуване на Vision, броят на наличните подкласове на VNRequest се е увеличил от 8 (iOS 11) на над 25 (iOS 18), покривайки всички основни задачи на компютърното зрение на мобилни устройства.

Основни типове VNRequest за анализ

Vision включва над 25 подкласа на VNRequest, разделени в категории: откриване, разпознаване, проследяне и класификация. Всеки подклас наследява VNRequest и добавя специфични за задачата свойства.

Откриване и разпознаване

VNDetectFaceRectanglesRequest — търсене на лица в изображението. Връща VNFaceObservation с координати на bounding box и confidence. VNDetectHumanRectanglesRequest — аналогично за хора. VNDetectHumanBodyPoseRequest — определяне на поза на човек (скелетни точки).

Анализ на текста

VNRecognizeTextRequest — разпознаване на текст с подкрепа на 13 езика и два нива на точност. VNReadCodeRequest — за специализирани кодове. VNDetectTextRectanglesRequest — търсене на текстови области без разпознаване (по-бързо, но само правоъълници).

Класификация и анализ

VNClassifyImageRequest — класификация на изображение според 1000 категории на ImageNet. VNGenerateImageFeaturePrintRequest — извличане на feature vector за сравняване на изображения. VNDetectContoursRequest — откриване на контури на обекти.

// VNImageRequestHandler за единично изображение
let imageHandler = VNImageRequestHandler(
    cgImage: cgImage,
    orientation: orientation,
    options: [:])

// VNSequenceRequestHandler за видео
let sequenceHandler = VNSequenceRequestHandler()
try sequenceHandler.perform([trackingRequest],
    on: cgImage)

func handleTextResults(request: VNRequest) {
    guard let observations = request.results
        as? [VNRecognizedTextObservation]
    else { return }

    for observation in observations {
        let bbox = observation.boundingBox
        let text = observation.topCandidates(1).first ?? ""
        print("\\(text) at \\(bbox)")
    }
}

import Vision

// Множествени заявки в един масив
let faceRequest = VNDetectFaceRectanglesRequest()
let textRequest = VNRecognizeTextRequest()
let barcodeRequest = VNDetectBarcodesRequest()
let classifyRequest = VNClassifyImageRequest()

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([
    faceRequest,
    textRequest,
    barcodeRequest,
    classifyRequest
])

// Достъп до резултатите от всяка заявка
print("Faces: \\(faceRequest.results?.count ?? 0)")
print("Text blocks: \\(textRequest.results?.count ?? 0)")

import Vision
import CoreML

// Опаковане на Core ML модел
guard let mlModel = try VNCoreMLModel(
    for: MyCustomClassifier().model)
else { return }

// Създаване на VNCoreMLRequest
let coreMLRequest = VNCoreMLRequest(model: mlModel) { request, _ in
    guard let results = request.results
        as? [VNClassificationObservation]
    else { return }

    for result in results.prefix(5) {
        print("\\(result.identifier): \\(result.confidence)"
    }
}
coreMLRequest.imageCropAndScaleOption = .centerCrop
coreMLRequest.regionOfInterest = faceBoundingBox