Vision: что это, фреймворк компьютерного зрения и работа на iOS

Что такое Vision?

Vision — это высокоуровневый фреймворк компьютерного зрения, представленный Apple на WWDC 2017. Он предоставляет разработчикам единый интерфейс для выполнения различных задач анализа изображений и видео без необходимости погружаться в математику компьютерного зрения или оптимизацию под конкретный нейропроцессор. Vision автоматически использует Apple Neural Engine на устройствах с A12+ чипами.

В отличие от низкоуровневых библиотек вроде OpenCV, Vision абстрагирует сложность: разработчик создаёт объект VNRequest, настраивает параметры и запускает обработку через VNImageRequestHandler. Фреймворк сам решает, на каком вычислителе выполнять задачу — CPU, GPU или ANE — и возвращает структурированный результат. По данным Apple (WWDC 2025), Vision используется в 40% приложений App Store, работающих с изображениями.

Основные возможности

Vision включает API для обнаружения лиц и их ориентиров (до 68 точек), распознавания текста (OCR) с поддержкой 30+ языков, сканирования штрихкодов QR и EAN, отслеживания объектов между кадрами, обнаружения прямоугольников и контуров, классификации изображений через Core ML, оценки движения и оптического потока, а также обнаружения человека на изображении с сегментацией. Каждая операция представлена отдельным подклассом VNRequest.

Ключевые API Vision

Vision построен на архитектуре Request → Handler → Results, где каждый запрос — это конкретная задача: найти лица, распознать текст, отследить объект. Рассмотрим наиболее востребованные API.

VNRequest — основа всех операций

VNRequest — абстрактный базовый класс, от которого наследуются все конкретные запросы Vision. Каждый запрос содержит completionHandler, параметры конфигурации и regionOfInterest для обработки части изображения. После создания запроса он передаётся в VNImageRequestHandler (для статических изображений) или VNSequenceRequestHandler (для видеопотока). Результаты возвращаются в виде массива наблюдений — подклассов VNObservation.

Обнаружение лиц и контуров

VNDetectFaceRectanglesRequest находит все лица на изображении и возвращает их рамки. VNDetectFaceLandmarksRequest дополнительно определяет 68 ключевых ориентиров: контур глаз, бровей, носа, губ и челюсти. VNDetectFaceCaptureQualityRequest оценивает качество снимка лица — от 0 до 1 — полезно для биометрии. По данным Apple, точность обнаружения лиц на устройствах с Neural Engine достигает 99% при frontal-ракурсе.

Распознавание текста

VNRecognizeTextRequest — API для оптического распознавания символов (OCR) на изображениях. Поддерживает печатный текст на латинице, кириллице, китайском, японском, корейском и других языках. Результат — массив VNRecognizedTextObservation, каждый из которых содержит строку текста, bounding box и уровень уверенности. Доступны два режима: быстрый (Fast) для сканирования документов и точный (Accurate) для сложных шрифтов.

• VNDetectFaceRectanglesRequest — поиск лиц с возвратом рамок
• VNDetectFaceLandmarksRequest — 68 ключевых точек лица
• VNRecognizeTextRequest — OCR с поддержкой 30+ языков
• VNDetectBarcodesRequest — сканирование QR, EAN, PDF417
• VNCoreMLRequest — запуск кастомных Core ML моделей

Интеграция Vision в iOS

Для использования Vision достаточно импортировать фреймворк, создать объект VNRequest и передать его в VNImageRequestHandler. Рассмотрим пример распознавания текста на изображении.

Пример кода на Swift

Код создаёт VNRecognizeTextRequest с точным режимом распознавания, запускает его на изображении и выводит распознанный текст в консоль. Этот простой пример демонстрирует минимальную интеграцию Vision в проект на Swift с использованием VNImageRequestHandler в несколько строк кода.

import Vision

// 1. Создание запроса на распознавание текста
let request = VNRecognizeTextRequest { request, error in
    guard let observations = request.results
        as? [VNRecognizedTextObservation]
    else { return }

    for observation in observations {
        let topCandidate = observation
            .topCandidates(1)
            .first
        print("Text: \(topCandidate?.string ?? "")")
    }
}

// 2. Включение точного режима
request.recognitionLevel = .accurate
request.usesLanguageCorrection = true

// 3. Запуск обработки
let handler = VNImageRequestHandler(
    url: imageURL, options: [:]
)
try? handler.perform([request])

Swift-код настраивает VNRecognizeTextRequest с точным уровнем распознавания и включённой языковой коррекцией. VNImageRequestHandler загружает изображение по URL и выполняет запрос. Результаты содержат распознанные строки текста с bounding boxes и confidence score для каждого токена. Массив VNRecognizedTextObservation удобно отобразить на экране.

Для обработки видео в реальном времени используется VNSequenceRequestHandler вместо VNImageRequestHandler. Он принимает массив изображений (кадров) и выполняет один и тот же запрос последовательно, сохраняя состояние между кадрами — это необходимо для трекинга объектов. VNSequenceRequestHandler автоматически управляет памятью: старые наблюдения удаляются, когда объект покидает кадр. Производительность в реальном времени зависит от сложности запроса: обнаружение лиц работает на 60 FPS, а распознавание текста — на 15–30 FPS на устройствах с чипом A16.

Vision vs Core Image

Vision и Core Image — два фреймворка Apple для работы с изображениями, но они решают принципиально разные задачи. Core Image — это фреймворк для фильтрации и трансформации изображений (наложение фильтров, коррекция цвета, размытие). Vision — это фреймворк для понимания содержимого изображения: что на нём изображено.

Используйте Vision, когда нужно понять, что находится на изображении: лица, текст, QR-коды, объекты. Используйте Core Image, когда нужно изменить изображение: применить фильтр, настроить цвета, обрезать. Часто эти два фреймворка комбинируются: сначала Core Image улучшает качество снимка, затем Vision распознаёт на нём текст.

На практике Vision и Core Image используются совместно в приложениях для сканирования документов. Core Image автоматически повышает контраст и убирает тени (CIFilter с CIPhotoEffectNoir), а Vision распознаёт текст на улучшенном изображении. По данным Apple (WWDC 2025), точность OCR возрастает на 15–20% при предварительной обработке изображения через Core Image по сравнению с сырым кадром с камеры.

Ещё один важный сценарий совместного использования — анализ лиц в реальном времени для приложшений дополненной реальности. Vision обнаруживает лицо и определяет 68 ориентиров, а Core Image накладывает фильтры на обнаруженные области. ARKit использует Vision для трекинга лица и Core Image для рендеринга эффектов, что даёт суммарную задержку менее 16 мс на устройствах с A15+ чипами.

При разработке на SwiftUI для интеграции Vision используется Representable протокол, оборачивающий AVCaptureSession и VNImageRequestHandler в UIViewRepresentable. Камера отображается через PreviewView, каждый кадр передаётся в VisionRequestHandler через AVCaptureVideoDataOutputSampleBufferDelegate. Такой архитектурный подход позволяет сохранить реактивность SwiftUI и получать результаты Vision-анализа в виде @Published свойств для немедленного обновления интерфейса.

Примеры использования Vision

Vision применяется в широком спектре iOS-приложений: от сканеров документов до приложений дополненной реальности. Рассмотрим три характерных сценария.

Сканирование документов

VNDetectDocumentSegmentationRequest (доступен с iOS 17+) автоматически обнаруживает границы документа на изображении, корректирует перспективу и возвращает выпрямленное изображение. В комбинации с VNRecognizeTextRequest получается полноценный OCR-сканер, способный распознавать счета, визитки и страницы книг. По данным Apple, сегментация документа занимает 30–80 мс на устройстве с A15 чипом.

Трекинг объектов в видео

VNTrackObjectRequest отслеживает перемещение выбранного объекта между кадрами видеопотока в реальном времени. Разработчик указывает bounding box объекта на первом кадре, и Vision автоматически вычисляет его новое положение на последующих кадрах. Трекинг применяется в приложениях для видеоаналитики, AR-играх и системах наблюдения. Точность трекинга на A16 чипах составляет 95% при скорости движения объекта до 30 пикселей на кадр.

Обнаружение контуров и прямоугольников

VNDetectRectanglesRequest находит прямоугольные области на изображении: экраны, листы бумаги, вывески, документы. API возвращает координаты углов с поправкой на перспективу. Комбинируя прямоугольники с VNDetectContoursRequest, можно выделить точный контур объекта — полезно для приложений дополненной реальности и графических редакторов. VNDetectContoursRequest возвращает массив контрольных точек контура, которые можно преобразовать в UIBezierPath для отрисовки.