Object Detection: bu nədir, alqoritmlər və iş prinsipi

Object Detection nədir: iş prinsipi

Object Detection eyni anda iki məsələ həll edir: şəkildə nə var (klassifikasiya) və harada (koordinat reqresiyası). Model şəkili şəbəkəyə bölür, hər xana üçün bounding box (x, y, width, height) və sinif ehtimallarını proqnozlaşdırır. Non-Maximum Suppression (NMS) bir obyekt üçün təkrarlanan çərçivələri silir, ən inamlı proqnozu saxlayır. Müasir arxitekturalar two-stage (Faster R-CNN — əvvəlcə region proposals, sonra klassifikasiya) və one-stage (YOLO, SSD — hər şey birdən) bölünür.

Qiymətləndirmə metrikaları: mAP (mean Average Precision) — Object Detection keyfiyyətinin əsas metrikası. mAP@0.5 — IoU həddi 0.5-də dəqiqlik, mAP@0.5:0.95 — 0.5-dən 0.95-ə qədər həddlər üzrə orta. FPS — saniyədə kadr sayı (inferens sürəti). Mobil tətbiqlər üçün mAP/FPS balansı kritikdir: YOLOv8-Nano 50+ FPS-də 42% mAP@0.5:0.95 verir, SSD MobileNet — 60+ FPS-də 22% mAP. Real-time üçün > 20 FPS, interaktiv istifadə üçün 5–15 FPS.

IoU (Intersection over Union) — proqnozlaşdırılmış və ground truth bounding box arasında üst-üstə düşmə metrikası. IoU = kəsişmə sahəsi / birləşmə sahəsi. NMS üçün IoU həddi adətən 0.5–0.7. Kadrlar arasında obyekt izləmə (re-identification) üçün Deep SORT və ya ByteTrack-dən IoU matçinqi ilə istifadə edin. Videoda obyekt saymaq üçün — BoT-SORT 85% MOTA (Multiple Object Tracking Accuracy) təmin edir.

Anchor Boxes — modelin düzəliş etdiyi əvvəlcədən təyin olunmuş bounding box formaları. YOLOv8 anchorsız deteksiyadan (anchor-free) istifadə edir ki, bu da öyrənməni sadələşdirir və inferensi sürətləndirir. SSD və köhnə YOLO dataset üçün anchor seçilməsi tələb edir. Mobil inkişaf üçün anchor-free arxitekturalar (YOLOv8, FCOS) üstünlük təşkil edir — onlar obyekt ölçüsündən asılı deyil və fərdiləşdirmədə daha sadədir.

ML Kit Object Detection və Tracking

ML Kit Object Detection and Tracking — cihazda obyekt aşkarlama və izləmə üçün Google kitabxanası. İki modifikasiyanı dəstəkləyir: single-image detector (şəkillər üçün) və streaming detector (video üçün). Streaming rejimi optik axın vasitəsilə kadrlar arasında obyektləri avtomatik izləyir, ilkin deteksiyadan sonra kadrlar arasında latency-ni 5–10 ms-ə endirir. Kateqoriyalar: fashion, food, home, places — hər biri 10–20 sinif.

ML Kit API: ObjectDetector (seçimlər: detectorMode, enableClassification, enableMultipleObjects) → InputImage → DetectedObject (trackingId, boundingBox, classificationCategory, classificationConfidence). TrackingId eyni obyekti kadrlar arasında izləməyə imkan verir. MultipleObjects = true — kadrda 5 obyektə qədər deteksiya. Classification — obyekt kateqoriyasının tanınmasını aktivləşdirir (sürət üçün standart false). Streaming rejimi real-time üçün tövsiyə olunur: Pixel 6-da 20–30 FPS.

val options = ObjectDetectorOptions.Builder()
    .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
    .enableClassification()
    .enableMultipleObjects()
    .build()

val detector = ObjectDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { objects ->
        objects.forEach { obj ->
            val box = obj.boundingBox
            val trackingId = obj.trackingId
            val category = obj.classificationCategory()
            drawBoundingBox(box, trackingId, category)
        }
    }

Object Tracking: ilk kadrda obyekt deteksiyasından sonra ML Kit onu video axını ilə təkrar deteksiya olmadan izləyir (optical flow + feature tracking əsasında). Bu CPU/GPU yükünü azaldır: ilk deteksiya 30–60 ms, sonrakı izləmə kadrları 2–5 ms. Obyekt kadrdan çıxarsa və ya > 30° dönərsə, tracker sıfırlanır və təkrar deteksiya tələb olunur. TrackingId obyekt kadrda olduğu müddətcə qalır. Unikal obyektləri saymaq üçün trackingId-dən identifikator kimi istifadə edin.

YOLO: You Only Look Once mobil cihazlarda

YOLOv8-Nano — edge cihazlar üçün YOLOv8-in (Ultralytics) ən kiçik versiyası. 2.6M parametr, 5.9 MB (FP16), COCO-da 42% mAP@0.5:0.95. YOLOv8 anchor-free deteksiya + C2f backbone + TaskAlignedAssigner proqnozların uyğunlaşdırılması üçün istifadə edir. Mobil inkişaf üçün TFLite (INT8 — 2.0 MB, latency 8–20 ms) və Core ML (4.5 MB, iPhone 15 Pro-da latency 5–15 ms) ixracı mövcuddur. YOLOv8-Nano — on-device real-time Object Detection üçün ən yaxşı seçimdir.

YOLOv8-in TFLite-ə ixracı: Ultralytics CLI təqdim edir: yolo export model=yolov8n.pt format=tflite int8. Nəticədə NNAPI vasitəsilə GPU Delegate altında optimallaşdırılmış TFLite INT8 modeli alınır. Fərdi dataset (öz siniflər, COCO deyil) üçün — sinif başına 50–500 şəkildə Ultralytics HUB vasitəsilə öyrənmə. RT-DETR (Real-Time Detection Transformer) — Transformer arxitekturasında alternativ, NVIDIA Jetson-da 60 FPS-də 48% mAP, lakin mobil cihazlar üçün hələlik sürət baxımından YOLOv8-Nano-dan geri qalır.

# YOLOv8-in TFLite-ə ixracı
from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(format="tflite", int8=True, imgsz=320)

# Android-də TFLite ilə inferens
val interpreter = Interpreter(loadFile("yolov8n_int8.tflite"))
val output = Array(1) { Array(8400) { FloatArray(6) } }
interpreter.run(inputBuffer, output)

Mobil cihazlarda YOLO vs ML Kit: ML Kit Object Detection inteqrasiyada daha sadədir (10 sətir kod), ML təcrübəsi tələb etmir, lakin standart siniflərlə məhdudlaşır (fashion, food, home, places). YOLOv8-Nano fərdi ixrac tələb edir, lakin tam nəzarət verir: istənilən siniflər, giriş ölçüsü, arxitektura. Sürətli prototipləşdirmə üçün — ML Kit. Qeyri-standart obyektlərlə istehsal üçün — YOLOv8-Nano. iOS üçün: Ultralytics + VNCoreMLRequest vasitəsilə YOLOv8-Core ML model ixracı.

SSD və digər on-device arxitekturaları

SSD (Single Shot Multibox Detector) — mobil cihazlar üçün klassik one-stage arxitektura. SSD MobileNetV2 — 2020–2023-cü illərdə de-fakto standart: COCO-da 22% mAP@0.5:0.95, Pixel 6-da 15–40 ms. SSD feature pyramid (müxtəlif ölçülü obyekt deteksiyası üçün MobileNet-in müxtəlif təbəqələri) və hər feature map xanası üçün default boxes (anchor boxes) istifadə edir. Müsbət cəhət: öz dövrü üçün maksimal sürət. Mənfi cəhət: kiçik obyektlərdə (10–30 px) aşağı dəqiqlik.

EfficientDet-Lite — Google-dan (2020+) TFLite üçün optimallaşdırılmış ailə. EfficientDet-Lite0: 3.9M parametr, 35% mAP, 20–50 ms. EfficientDet-Lite2: 8.1M, 42% mAP, 40–80 ms. EfficientDet multi-scale feature fusion üçün BiFPN (Bidirectional Feature Pyramid Network) istifadə edir — bu, latency artırmadan 2–4% mAP artımı verir. Mobil inkişaf üçün Google TFLite Task Vision üçün əsas detektor kimi EfficientDet-Lite tövsiyə edir.

MediaPipe Object Detector — MediaPipe Tasks Vision tərkibində EfficientDet-Lite əsasında hazır tətbiq. Android, iOS, Python, Web üçün vahid API təqdim edir. MediaPipe Object Detector COCO siniflərini (80 sinif), fərdi modelləri, streaming rejimini və CPU/GPU deleqatlarını dəstəkləyir. Çarpaz platformalı layihədə sürətli Object Detection inteqrasiyası üçün MediaPipe — optimal seçimdir: bütün platformalar üçün bir kod.

// MediaPipe Object Detection
val options = ObjectDetectorOptions.Builder()
    .setBaseOptions(BaseOptions.builder()
        .setDelegate(BaseOptions.Delegate.GPU)
        .build())
    .setMaxResults(5)
    .setScoreThreshold(0.5f)
    .build()

val detector = ObjectDetector.createFromOptions(context, options)

val image = MPImage.fromBitmap(bitmap)
val result = detector.detect(image)
result.detections.forEach { detection ->
    val box = detection.boundingBox
    val category = detection.categories.first()
}

Mobil tətbiq üçün arxitektura seçimi: orta cihazlarda > 30 FPS üçün — YOLOv8-Nano (INT8) və ya SSD MobileNetV2. > 40% mAP dəqiqliyi üçün — YOLOv8-Small (11.2M) və ya EfficientDet-Lite2 (8.1M). Çarpaz platformalılıq üçün — MediaPipe Object Detector. Sadəlik üçün — ML Kit. iOS-first üçün — Core ML + YOLOv8 .mlpackage. Android-first üçün — TFLite Task Vision (ObjectDetector API). Öyrənmə: Roboflow (dataset) + Ultralytics YOLOv8 (təlim) + TFLite/Core ML-ə ixrac.

TensorFlow Lite Task Vision API

TFLite Task Vision ObjectDetector — Android və iOS-da Object Detection modellərini işə salmaq üçün Google-dan vahid API. Task API şəklin ilkin emalını (miqyaslama, normallaşdırma, rəng məkanı konversiyası) və son emalı (NMS, thresholding) avtomatik idarə edir. Developer .tflite modelini ötürməli və bounding box + category + score ilə Detections siyahısı almalıdır. Task API COCO-uyğun modelləri dəstəkləyir (80 sinif).

Fərdi modelin Task API-ə konvertasiyası: TFLite modeli giriş [1, height, width, 3] (float32/uint8) və çıxış: detection_boxes[1,N,4], detection_classes[1,N], detection_scores[1,N], num_detections[1] olmalıdır. TensorFlow Object Detection API-dən post-processing ops daxil edilmiş (SSD Postprocess) ixrac. YOLOv8 üçün — ops-compat vasitəsilə NMS ilə TFLite ixracı. iOS-da Task API ANE-də sürətləndirmə üçün Core ML Delegate istifadə edir.

// TFLite Task Vision Object Detector
val options = ObjectDetectorOptions.Builder()
    .setScoreThreshold(0.5f)
    .setMaxResults(10)
    .setDelegate(Delegate.GPU)
    .build()

val detector = ObjectDetector.createFromFileAndOptions(
    context, "custom_model.tflite", options
)

val image = TensorImage.fromBitmap(bitmap)
val results = detector.detect(image)
results.forEach { detection ->
    onObjectDetected(
        detection.boundingBox,
        detection.categories.first().label,
        detection.categories.first().score
    )
}

Task API performansı: Android-də GPU Delegate CPU (XNNPACK) ilə müqayisədə 3–5x sürətlənmə verir. NNAPI Delegate — NPU olan cihazlarda (Pixel 8, Snapdragon 8 Gen 3, Dimensity 9300) daha 1.5–2x. Hexagon, DSP — DSP akseleratorlarında 10x-ə qədər. iOS üçün Core ML Delegate — CPU-ya qarşı 4–6x. Task API mövcud aparat akseleratorunu avtomatik seçir, lakin DetectorOptions vasitəsilə deleqatı məcburi təyin etmək olar.

Object Detection-ın mobil tətbiqlərdə tətbiqi

İnsan və obyektlərin sayılması — retail analitika: mağazada ziyarətçilərin deteksiyası, növbələrin sayılması, rəflərin mallarla doluluğunun müəyyən edilməsi. Kadrda Object Detection sayğacı keçid qabiliyyətini və konversiyanı qiymətləndirməyə imkan verir. ML Kit Object Detector 30 FPS-ə qədər verir — real-time sayma üçün kifayətdir. Xətlərin kəsişməsi (zone crossing) üçün — Object Detection + ByteTrack izləmə kombinasiyası. Sayma dəqiqliyi: yaxşı işıqlandırmada 92–95%.

İstehsalda qüsur deteksiyası — Object Detection konveyerdə qüsurları müəyyən edir: cızıqlar, çatlar, yanlış yığım. Fərdi YOLOv8-Nano (INT8) modeli USB kameraya qoşulmuş Android planşetində işləyir. Latency: kadr başına 20–40 ms (25–50 FPS). Mürəkkəb qüsurlar (mikroçatlar) üçün — giriş təsvir ölçüsünü 640x640-ə qədər artırın (latency 40–80 ms). Öyrənmə: Roboflow — 200–1000 qüsur şəklindən dataset + Ultralytics YOLOv8.

Real vaxtda AR obyekt işarələmə — ARCore (Android) və ARKit (iOS) düz səthləri, şaquli müstəviləri və 3D obyektləri tanımaq üçün Object Detection istifadə edir. ML Kit Object Detection + ARCore Scene Semantics obyekt seqmentasiyası verir: divar, döşəmə, tavan, mebel. Fərdi AR işarələmə üçün (məsələn, müəyyən divan modelinin tanınması və AR məlumatının yerləşdirilməsi) — YOLOv8-Nano + SceneKit/SceneForm. Real-time tələbi: > 20 FPS.

// ARKit + Object Detection
let request = VNCoreMLRequest(model: objectDetector) { req, _ in
    guard let results = req.results as? [VNDetectedObjectObservation] else { return }
    for result in results where result.confidence > 0.6 {
        let rect = result.boundingBox
        let worldPos = arView.hitTest(rect.center)
        arView.addAnchor(ARAnchor(name: label, transform: worldPos))
    }
}

Tibbi təsvir — rentgen, MRT, KT şəkillərinin analizi üçün Object Detection. Həkimin mobil cihazında şiş, sınıq, patologiya deteksiyası. Android planşetində YOLOv8-Nano ağciyər düyünlərini 15–30 ms-də 89% həssaslıq və 93% spesifikliklə aşkarlayır (NIH ChestX-ray14 məlumatları). Tələblər: INT8 kvantlaşdırması (məlumat məxfiliyi), yüksək recall (patologiyanı qaçırmaq yalançı alarmdan daha təhlükəlidir), confidence həddi < 0.4 istifadəsi. Cihazda emal tibbi məlumatların məxfiliyini təmin edir.