Object Detection: что это, алгоритмы и принцип работы

Что такое Object Detection: принцип работы

Object Detection решает две задачи одновременно: что на изображении (классификация) и где (регрессия координат). Модель делит изображение на сетку, для каждой ячейки предсказывает bounding box (x, y, width, height) и вероятности классов. Non-Maximum Suppression (NMS) удаляет дублирующиеся рамки для одного объекта, оставляя наиболее уверенное предсказание. Современные архитектуры делятся на two-stage (Faster R-CNN — сначала region proposals, потом классификация) и one-stage (YOLO, SSD — всё сразу).

Метрики оценки: mAP (mean Average Precision) — основная метрика качества Object Detection. mAP@0.5 — точность при IoU пороге 0.5, mAP@0.5:0.95 — средняя по порогам от 0.5 до 0.95. FPS — количество кадров в секунду (скорость инференса). Для мобильных приложений баланс mAP/FPS критичен: YOLOv8-Nano даёт 42% mAP@0.5:0.95 при 50+ FPS, SSD MobileNet — 22% mAP при 60+ FPS. Для real-time > 20 FPS, для интерактивного использования 5–15 FPS.

IoU (Intersection over Union) — метрика перекрытия предсказанного и ground truth bounding box. IoU = площадь пересечения / площадь объединения. Порог IoU для NMS обычно 0.5–0.7. Для трекинга объектов между кадрами (re-identification) используйте Deep SORT или ByteTrack с IoU-матчингом. Для подсчёта объектов на видео — BoT-SORT обеспечивает 85% MOTA (Multiple Object Tracking Accuracy).

Anchor Boxes — предопределённые формы bounding box, которые модель корректирует. YOLOv8 использует безъякорную детекцию (anchor-free), что упрощает обучение и ускоряет инференс. SSD и старые YOLO требуют подбора anchors под датасет. Для мобильной разработки anchor-free архитектуры (YOLOv8, FCOS) предпочтительнее — они не зависят от размера объектов и проще в кастомизации.

ML Kit Object Detection и Tracking

ML Kit Object Detection and Tracking — библиотека Google для обнаружения и трекинга объектов на устройстве. Поддерживает две модификации: single-image detector (для фото) и streaming detector (для видео). Streaming mode автоматически трекит объекты между кадрами с помощью оптического потока, что снижает latency до 5–10 ms между кадрами после первичной детекции. Категории: fashion, food, home, places — по 10–20 классов каждая.

API ML Kit: ObjectDetector (опции: detectorMode, enableClassification, enableMultipleObjects) → InputImage → DetectedObject (trackingId, boundingBox, classificationCategory, classificationConfidence). TrackingId позволяет отслеживать один и тот же объект между кадрами. MultipleObjects = true — детектирует до 5 объектов на кадр. Classification — включает распознавание категории объекта (по умолчанию false для скорости). Streaming mode рекомендован для real-time: 20–30 FPS на Pixel 6.

val options = ObjectDetectorOptions.Builder()
    .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
    .enableClassification()
    .enableMultipleObjects()
    .build()

val detector = ObjectDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { objects ->
        objects.forEach { obj ->
            val box = obj.boundingBox
            val trackingId = obj.trackingId
            val category = obj.classificationCategory()
            drawBoundingBox(box, trackingId, category)
        }
    }

Object Tracking: после детекции объекта на первом кадре ML Kit отслеживает его по видеопотоку без повторной детекции (на основе optical flow + feature tracking). Это снижает нагрузку на CPU/GPU: первая детекция 30–60 ms, последующие трекинг-кадры 2–5 ms. Если объект выходит из кадра или поворачивается > 30°, трекер сбрасывается и требуется повторная детекция. TrackingId сохраняется, пока объект находится в кадре. Для подсчёта уникальных объектов используйте trackingId как идентификатор.

YOLO: You Only Look Once на мобильных устройствах

YOLOv8-Nano — самая маленькая версия YOLOv8 (Ultralytics) для edge-устройств. 2.6M параметров, 5.9 MB (FP16), 42% mAP@0.5:0.95 на COCO. YOLOv8 использует anchor-free детекцию + C2f backbone + TaskAlignedAssigner для матчинга предсказаний. Для мобильной разработки доступен экспорт в TFLite (INT8 — 2.0 MB, latency 8–20 ms) и Core ML (4.5 MB, latency 5–15 ms на iPhone 15 Pro). YOLOv8-Nano — лучший выбор для on-device real-time Object Detection.

Экспорт YOLOv8 в TFLite: Ultralytics предоставляет CLI: yolo export model=yolov8n.pt format=tflite int8. На выходе — TFLite INT8-модель, оптимизированная под GPU Delegate через NNAPI. Для кастомного датасета (свои классы, не COCO) — обучение через Ultralytics HUB на 50–500 изображениях на класс. RT-DETR (Real-Time Detection Transformer) — альтернатива на архитектуре Transformer, 48% mAP при 60 FPS на NVIDIA Jetson, но для мобильных устройств пока уступает YOLOv8-Nano по скорости.

# YOLOv8 export to TFLite
from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(format="tflite", int8=True, imgsz=320)

# Inference with TFLite on Android
val interpreter = Interpreter(loadFile("yolov8n_int8.tflite"))
val output = Array(1) { Array(8400) { FloatArray(6) } }
interpreter.run(inputBuffer, output)

YOLO vs ML Kit на мобильных устройствах: ML Kit Object Detection проще в интеграции (10 строк кода), не требует ML-экспертизы, но ограничен стандартными классами (fashion, food, home, places). YOLOv8-Nano требует кастомного экспорта, но даёт полный контроль: любые классы, размер входа, архитектура. Для быстрого прототипирования — ML Kit. Для production с нестандартными объектами — YOLOv8-Nano. Для iOS: YOLOv8-Core ML через модель экспорт из Ultralytics + VNCoreMLRequest.

SSD и другие on-device архитектуры

SSD (Single Shot Multibox Detector) — классическая one-stage архитектура для мобильных устройств. SSD MobileNetV2 — стандарт де-факто в 2020–2023: 22% mAP@0.5:0.95 на COCO, 15–40 ms на Pixel 6. SSD использует feature pyramid (разные слои MobileNet для детекции объектов разного размера) и default boxes (anchor boxes) для каждой ячейки feature map. Плюс: максимальная скорость для своего времени. Минус: низкая точность на мелких объектах (10–30 px).

EfficientDet-Lite — семейство от Google (2020+), оптимизированное для TFLite. EfficientDet-Lite0: 3.9M параметров, 35% mAP, 20–50 ms. EfficientDet-Lite2: 8.1M, 42% mAP, 40–80 ms. EfficientDet использует BiFPN (Bidirectional Feature Pyramid Network) для multi-scale feature fusion — это даёт прирост 2–4% mAP без увеличения latency. Для мобильной разработки Google рекомендует EfficientDet-Lite как основной детектор для TFLite Task Vision.

MediaPipe Object Detector — готовая реализация на основе EfficientDet-Lite в составе MediaPipe Tasks Vision. Предоставляет унифицированный API для Android, iOS, Python, Web. MediaPipe Object Detector поддерживает классы COCO (80 классов), кастомные модели, streaming mode и CPU/GPU делегаты. Для быстрой интеграции Object Detection в кроссплатформенный проект MediaPipe — оптимальный выбор: один код для всех платформ.

// MediaPipe Object Detection
val options = ObjectDetectorOptions.Builder()
    .setBaseOptions(BaseOptions.builder()
        .setDelegate(BaseOptions.Delegate.GPU)
        .build())
    .setMaxResults(5)
    .setScoreThreshold(0.5f)
    .build()

val detector = ObjectDetector.createFromOptions(context, options)

val image = MPImage.fromBitmap(bitmap)
val result = detector.detect(image)
result.detections.forEach { detection ->
    val box = detection.boundingBox
    val category = detection.categories.first()
}

Выбор архитектуры для мобильного приложения: для > 30 FPS на средних устройствах — YOLOv8-Nano (INT8) или SSD MobileNetV2. Для точности > 40% mAP — YOLOv8-Small (11.2M) или EfficientDet-Lite2 (8.1M). Для кроссплатформенности — MediaPipe Object Detector. Для простоты — ML Kit. Для iOS-first — Core ML + YOLOv8 .mlpackage. Для Android-first — TFLite Task Vision (ObjectDetector API). Обучение: Roboflow (датасет) + Ultralytics YOLOv8 (training) + экспорт в TFLite/Core ML.

TensorFlow Lite Task Vision API

TFLite Task Vision ObjectDetector — унифицированный API от Google для запуска моделей Object Detection на Android и iOS. Task API автоматически обрабатывает предобработку изображения (масштабирование, нормализация, color space conversion) и постобработку (NMS, thresholding). Разработчику нужно передать модель .tflite и получить список Detections с bounding box + category + score. Task API поддерживает COCO-совместимые модели (80 классов).

Конвертация кастомной модели в Task API: TFLite модель должна иметь вход [1, height, width, 3] (float32/uint8) и выход: detection_boxes[1,N,4], detection_classes[1,N], detection_scores[1,N], num_detections[1]. Экспорт из TensorFlow Object Detection API с post-processing ops включенными (SSD Postprocess). Для YOLOv8 — экспорт TFLite с NMS через ops-compat. Task API на iOS использует Core ML Delegate для ускорения на ANE.

// TFLite Task Vision Object Detector
val options = ObjectDetectorOptions.Builder()
    .setScoreThreshold(0.5f)
    .setMaxResults(10)
    .setDelegate(Delegate.GPU)
    .build()

val detector = ObjectDetector.createFromFileAndOptions(
    context, "custom_model.tflite", options
)

val image = TensorImage.fromBitmap(bitmap)
val results = detector.detect(image)
results.forEach { detection ->
    onObjectDetected(
        detection.boundingBox,
        detection.categories.first().label,
        detection.categories.first().score
    )
}

Производительность Task API: GPU Delegate на Android даёт ускорение 3–5x по сравнению с CPU (XNNPACK). NNAPI Delegate — ещё 1.5–2x на устройствах с NPU (Pixel 8, Snapdragon 8 Gen 3, Dimensity 9300). Hexagon, DSP — до 10x на DSP-акселераторах. Для iOS Core ML Delegate — 4–6x против CPU. Task API автоматически выбирает доступный аппаратный ускоритель, но можно принудительно указать delegate через DetectorOptions.

Применение Object Detection в мобильных приложениях

Подсчёт людей и объектов — retail-аналитика: детекция посетителей в магазине, подсчёт очередей, определение заполненности полок товаром. Object Detection счётчик людей в кадре позволяет оценить проходимость и конверсию. ML Kit Object Detector даёт до 30 FPS — достаточно для real-time подсчёта. Для пересечения линий (zone crossing) — комбинация Object Detection + ByteTrack трекинг. Точность подсчёта: 92–95% при хорошем освещении.

Детекция дефектов на производстве — Object Detection определяет брак на конвейере: царапины, сколы, трещины, неправильную сборку. Кастомная модель YOLOv8-Nano (INT8) работает на Android-планшете, подключённом к USB-камере. Latency: 20–40 ms на кадр (25–50 FPS). Для сложных дефектов (микротрещины) — увеличивайте разрешение входа до 640x640 (latency 40–80 ms). Обучение: Roboflow — датасет из 200–1000 изображений дефектов + Ultralytics YOLOv8.

AR-разметка объектов в реальном времени — ARCore (Android) и ARKit (iOS) используют Object Detection для распознавания плоских поверхностей, вертикальных плоскостей и 3D-объектов. ML Kit Object Detection + ARCore Scene Semantics даёт сегментацию объектов: стена, пол, потолок, мебель. Для кастомной AR-разметки (например, распознавание конкретной модели дивана и наложение AR-информации) — YOLOv8-Nano + SceneKit/SceneForm. Real-time requirement: > 20 FPS.

// ARKit + Object Detection
let request = VNCoreMLRequest(model: objectDetector) { req, _ in
    guard let results = req.results as? [VNDetectedObjectObservation] else { return }
    for result in results where result.confidence > 0.6 {
        let rect = result.boundingBox
        let worldPos = arView.hitTest(rect.center)
        arView.addAnchor(ARAnchor(name: label, transform: worldPos))
    }
}

Медицинская визуализация — Object Detection для анализа рентгеновских снимков, МРТ, КТ. Детекция опухолей, переломов, патологий на мобильном устройстве врача. YOLOv8-Nano на Android-планшете детектирует узлы в лёгких за 15–30 ms с чувствительностью 89% и специфичностью 93% (данные NIH ChestX-ray14). Требования: INT8-квантование (приватность данных), high recall (пропуск патологии опаснее ложного срабатывания), использование порога confidence < 0.4. On-device обработка гарантирует приватность медицинских данных.