Object Detection: چیست، الگوریتم‌ها و اصل کار

Object Detection چیست: اصل کار

Object Detection دو مسئله را همزمان حل می‌کند: چه چیزی در تصویر وجود دارد (طبقه‌بندی) و کجاست (رگرسیون مختصات). مدل تصویر را به یک شبکه تقسیم می‌کند، برای هر خانه bounding box (x, y, width, height) و احتمالات کلاس را پیش‌بینی می‌کند. Non-Maximum Suppression (NMS) قاب‌های تکراری را برای یک شی حذف می‌کند و مطمئن‌ترین پیش‌بینی را نگه می‌دارد. معماری‌های مدرن به two-stage (Faster R-CNN — ابتدا region proposals، سپس طبقه‌بندی) و one-stage (YOLO, SSD — همه چیز یکجا) تقسیم می‌شوند.

معیارهای ارزیابی: mAP (mean Average Precision) — معیار اصلی کیفیت Object Detection. mAP@0.5 — دقت در آستانه IoU 0.5، mAP@0.5:0.95 — میانگین در آستانه‌های 0.5 تا 0.95. FPS — تعداد فریم در ثانیه (سرعت استنتاج). برای برنامه‌های موبایل تعادل mAP/FPS حیاتی است: YOLOv8-Nano 42% mAP@0.5:0.95 در 50+ FPS می‌دهد، SSD MobileNet — 22% mAP در 60+ FPS. برای real-time > 20 FPS، برای استفاده تعاملی 5–15 FPS.

IoU (Intersection over Union) — معیار همپوشانی بین bounding box پیش‌بینی شده و ground truth. IoU = مساحت اشتراک / مساحت اتحاد. آستانه IoU برای NMS معمولاً 0.5–0.7. برای ردیابی اشیاء بین فریم‌ها (re-identification) از Deep SORT یا ByteTrack با تطبیق IoU استفاده کنید. برای شمارش اشیاء در ویدیو — BoT-SORT 85% MOTA (Multiple Object Tracking Accuracy) را تضمین می‌کند.

Anchor Boxes — اشکال از پیش تعریف شده bounding box که مدل آنها را تصحیح می‌کند. YOLOv8 از تشخیص بدون لنگر (anchor-free) استفاده می‌کند که یادگیری را ساده و استنتاج را سریع‌تر می‌کند. SSD و YOLO قدیمی نیاز به انتخاب anchor برای مجموعه داده دارند. برای توسعه موبایل معماری‌های anchor-free (YOLOv8, FCOS) ترجیح داده می‌شوند — آنها به اندازه اشیاء وابسته نیستند و در سفارشی‌سازی ساده‌تر هستند.

ML Kit Object Detection و Tracking

ML Kit Object Detection and Tracking — کتابخانه Google برای تشخیص و ردیابی اشیاء روی دستگاه. از دو تغییر پشتیبانی می‌کند: single-image detector (برای عکس‌ها) و streaming detector (برای ویدیو). حالت streaming به طور خودکار اشیاء را بین فریم‌ها با استفاده از جریان نوری ردیابی می‌کند که تاخیر بین فریم‌ها را پس از تشخیص اولیه به 5–10 ms کاهش می‌دهد. دسته‌بندی‌ها: fashion, food, home, places — هر کدام 10–20 کلاس.

API ML Kit: ObjectDetector (گزینه‌ها: detectorMode, enableClassification, enableMultipleObjects) → InputImage → DetectedObject (trackingId, boundingBox, classificationCategory, classificationConfidence). TrackingId امکان ردیابی یک شی را بین فریم‌ها فراهم می‌کند. MultipleObjects = true — تشخیص تا 5 شی در هر فریم. Classification — تشخیص دسته‌بندی شی را فعال می‌کند (پیش‌فرض false برای سرعت). حالت streaming برای real-time توصیه می‌شود: 20–30 FPS در Pixel 6.

val options = ObjectDetectorOptions.Builder()
    .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
    .enableClassification()
    .enableMultipleObjects()
    .build()

val detector = ObjectDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { objects ->
        objects.forEach { obj ->
            val box = obj.boundingBox
            val trackingId = obj.trackingId
            val category = obj.classificationCategory()
            drawBoundingBox(box, trackingId, category)
        }
    }

Object Tracking: پس از تشخیص شی در اولین فریم، ML Kit آن را در جریان ویدیو بدون تشخیص مجدد ردیابی می‌کند (بر اساس optical flow + feature tracking). این کار بار CPU/GPU را کاهش می‌دهد: اولین تشخیص 30–60 ms، فریم‌های بعدی ردیابی 2–5 ms. اگر شی از فریم خارج شود یا بیش از 30 درجه بچرخد، ردیاب بازنشانی می‌شود و تشخیص مجدد لازم است. TrackingId تا زمانی که شی در فریم است حفظ می‌شود. برای شمارش اشیاء منحصر به فرد از trackingId به عنوان شناسه استفاده کنید.

YOLO: You Only Look Once روی دستگاه‌های موبایل

YOLOv8-Nano — کوچکترین نسخه YOLOv8 (Ultralytics) برای دستگاه‌های لبه. 2.6M پارامتر، 5.9 MB (FP16)، 42% mAP@0.5:0.95 در COCO. YOLOv8 از تشخیص anchor-free + C2f backbone + TaskAlignedAssigner برای تطبیق پیش‌بینی‌ها استفاده می‌کند. برای توسعه موبایل خروجی به TFLite (INT8 — 2.0 MB، تاخیر 8–20 ms) و Core ML (4.5 MB، تاخیر 5–15 ms در iPhone 15 Pro) در دسترس است. YOLOv8-Nano — بهترین انتخاب برای Object Detection بی‌درنگ روی دستگاه است.

خروجی YOLOv8 به TFLite: Ultralytics CLI ارائه می‌دهد: yolo export model=yolov8n.pt format=tflite int8. خروجی — مدل TFLite INT8 بهینه‌شده برای GPU Delegate از طریق NNAPI. برای مجموعه داده سفارشی (کلاس‌های خود، نه COCO) — آموزش از طریق Ultralytics HUB روی 50–500 تصویر در هر کلاس. RT-DETR (Real-Time Detection Transformer) — جایگزین بر اساس معماری Transformer، 48% mAP در 60 FPS در NVIDIA Jetson، اما برای دستگاه‌های موبایل هنوز از نظر سرعت از YOLOv8-Nano عقب‌تر است.

# خروجی YOLOv8 به TFLite
from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(format="tflite", int8=True, imgsz=320)

# استنتاج با TFLite در Android
val interpreter = Interpreter(loadFile("yolov8n_int8.tflite"))
val output = Array(1) { Array(8400) { FloatArray(6) } }
interpreter.run(inputBuffer, output)

YOLO در مقابل ML Kit در دستگاه‌های موبایل: ML Kit Object Detection در یکپارچه‌سازی ساده‌تر است (10 خط کد)، نیاز به تخصص ML ندارد، اما به کلاس‌های استاندارد محدود می‌شود (fashion, food, home, places). YOLOv8-Nano نیاز به خروجی سفارشی دارد، اما کنترل کامل می‌دهد: هر کلاس، اندازه ورودی، معماری. برای نمونه‌سازی سریع — ML Kit. برای تولید با اشیاء غیراستاندارد — YOLOv8-Nano. برای iOS: YOLOv8-Core ML از طریق خروجی مدل از Ultralytics + VNCoreMLRequest.

SSD و سایر معماری‌های on-device

SSD (Single Shot Multibox Detector) — معماری کلاسیک one-stage برای دستگاه‌های موبایل. SSD MobileNetV2 — استاندارد دوفاکتو در ۲۰۲۰–۲۰۲۳: 22% mAP@0.5:0.95 در COCO، 15–40 ms در Pixel 6. SSD از feature pyramid (لایه‌های مختلف MobileNet برای تشخیص اشیاء در اندازه‌های مختلف) و default boxes (anchor boxes) برای هر خانه نقشه ویژگی استفاده می‌کند. مزیت: حداکثر سرعت برای زمان خود. عیب: دقت پایین در اشیاء کوچک (10–30 px).

EfficientDet-Lite — خانواده از Google (2020+)، بهینه‌شده برای TFLite. EfficientDet-Lite0: 3.9M پارامتر، 35% mAP، 20–50 ms. EfficientDet-Lite2: 8.1M، 42% mAP، 40–80 ms. EfficientDet از BiFPN (Bidirectional Feature Pyramid Network) برای multi-scale feature fusion استفاده می‌کند — این 2–4% افزایش mAP بدون افزایش تاخیر می‌دهد. برای توسعه موبایل Google EfficientDet-Lite را به عنوان تشخیص‌دهنده اصلی برای TFLite Task Vision توصیه می‌کند.

MediaPipe Object Detector — پیاده‌سازی آماده بر اساس EfficientDet-Lite در MediaPipe Tasks Vision. API یکپارچه برای Android، iOS، Python، Web ارائه می‌دهد. MediaPipe Object Detector از کلاس‌های COCO (80 کلاس)، مدل‌های سفارشی، حالت streaming و نمایندگان CPU/GPU پشتیبانی می‌کند. برای یکپارچه‌سازی سریع Object Detection در پروژه چندپلتفرمی MediaPipe — انتخاب بهینه: یک کد برای همه پلتفرم‌ها.

// MediaPipe Object Detection
val options = ObjectDetectorOptions.Builder()
    .setBaseOptions(BaseOptions.builder()
        .setDelegate(BaseOptions.Delegate.GPU)
        .build())
    .setMaxResults(5)
    .setScoreThreshold(0.5f)
    .build()

val detector = ObjectDetector.createFromOptions(context, options)

val image = MPImage.fromBitmap(bitmap)
val result = detector.detect(image)
result.detections.forEach { detection ->
    val box = detection.boundingBox
    val category = detection.categories.first()
}

انتخاب معماری برای برنامه موبایل: برای > 30 FPS در دستگاه‌های متوسط — YOLOv8-Nano (INT8) یا SSD MobileNetV2. برای دقت > 40% mAP — YOLOv8-Small (11.2M) یا EfficientDet-Lite2 (8.1M). برای چندپلتفرمی — MediaPipe Object Detector. برای سادگی — ML Kit. برای iOS-first — Core ML + YOLOv8 .mlpackage. برای Android-first — TFLite Task Vision (ObjectDetector API). آموزش: Roboflow (مجموعه داده) + Ultralytics YOLOv8 (تمرین) + خروجی به TFLite/Core ML.

TensorFlow Lite Task Vision API

TFLite Task Vision ObjectDetector — API یکپارچه از Google برای اجرای مدل‌های Object Detection در Android و iOS. Task API به طور خودکار پیش‌پردازش تصویر (مقیاس‌بندی، نرمال‌سازی، تبدیل فضای رنگی) و پس‌پردازش (NMS، آستانه‌گذاری) را مدیریت می‌کند. توسعه‌دهنده باید مدل .tflite را ارسال کند و لیست Detections با bounding box + category + score دریافت کند. Task API از مدل‌های سازگار با COCO (80 کلاس) پشتیبانی می‌کند.

تبدیل مدل سفارشی به Task API: مدل TFLite باید ورودی [1, height, width, 3] (float32/uint8) و خروجی: detection_boxes[1,N,4]، detection_classes[1,N]، detection_scores[1,N]، num_detections[1] داشته باشد. خروجی از TensorFlow Object Detection API با عملیات پس‌پردازش فعال (SSD Postprocess). برای YOLOv8 — خروجی TFLite با NMS از طریق ops-compat. Task API در iOS از Core ML Delegate برای شتاب‌دهی در ANE استفاده می‌کند.

// TFLite Task Vision Object Detector
val options = ObjectDetectorOptions.Builder()
    .setScoreThreshold(0.5f)
    .setMaxResults(10)
    .setDelegate(Delegate.GPU)
    .build()

val detector = ObjectDetector.createFromFileAndOptions(
    context, "custom_model.tflite", options
)

val image = TensorImage.fromBitmap(bitmap)
val results = detector.detect(image)
results.forEach { detection ->
    onObjectDetected(
        detection.boundingBox,
        detection.categories.first().label,
        detection.categories.first().score
    )
}

عملکرد Task API: GPU Delegate در Android شتاب 3–5x در مقایسه با CPU (XNNPACK) می‌دهد. NNAPI Delegate — 1.5–2x اضافی در دستگاه‌های دارای NPU (Pixel 8, Snapdragon 8 Gen 3, Dimensity 9300). Hexagon, DSP — تا 10x در شتاب‌دهنده‌های DSP. برای iOS Core ML Delegate — 4–6x نسبت به CPU. Task API به طور خودکار شتاب‌دهنده سخت‌افزاری موجود را انتخاب می‌کند، اما می‌توان نماینده را از طریق DetectorOptions اجباری تعیین کرد.

کاربرد Object Detection در برنامه‌های موبایل

شمارش افراد و اشیاء — تحلیل خرده‌فروشی: تشخیص بازدیدکنندگان در فروشگاه، شمارش صف‌ها، تعیین پر بودن قفسه‌ها از کالا. شمارنده Object Detection در فریم امکان ارزیابی عبور و مرور و تبدیل را فراهم می‌کند. ML Kit Object Detector تا 30 FPS می‌دهد — برای شمارش بی‌درنگ کافی است. برای عبور از خط (zone crossing) — ترکیب Object Detection + ردیابی ByteTrack. دقت شمارش: 92–95% در روشنایی خوب.

تشخیص عیوب در تولید — Object Detection عیوب روی خط تولید را تعیین می‌کند: خط و خش، ترک، مونتاژ نادرست. مدل سفارشی YOLOv8-Nano (INT8) روی تبلت Android متصل به دوربین USB کار می‌کند. تاخیر: 20–40 ms در هر فریم (25–50 FPS). برای عیوب پیچیده (ریزترک‌ها) — رزولوشن ورودی را به 640x640 افزایش دهید (تاخیر 40–80 ms). آموزش: Roboflow — مجموعه داده 200–1000 تصویر عیوب + Ultralytics YOLOv8.

علامت‌گذاری اشیاء AR در زمان واقعی — ARCore (Android) و ARKit (iOS) از Object Detection برای تشخیص سطوح صاف، سطوح عمودی و اشیاء سه‌بعدی استفاده می‌کنند. ML Kit Object Detection + ARCore Scene Semantics بخش‌بندی اشیاء را می‌دهد: دیوار، کف، سقف، مبلمان. برای علامت‌گذاری AR سفارشی (مثلاً تشخیص مدل خاص مبل و قرار دادن اطلاعات AR) — YOLOv8-Nano + SceneKit/SceneForm. نیاز real-time: > 20 FPS.

// ARKit + Object Detection
let request = VNCoreMLRequest(model: objectDetector) { req, _ in
    guard let results = req.results as? [VNDetectedObjectObservation] else { return }
    for result in results where result.confidence > 0.6 {
        let rect = result.boundingBox
        let worldPos = arView.hitTest(rect.center)
        arView.addAnchor(ARAnchor(name: label, transform: worldPos))
    }
}

تصویربرداری پزشکی — Object Detection برای تحلیل عکس‌های رادیوگرافی، MRI، CT. تشخیص تومور، شکستگی، آسیب‌شناسی در دستگاه موبایل پزشک. YOLOv8-Nano در تبلت Android گره‌های ریوی را در 15–30 ms با حساسیت 89% و ویژگی 93% تشخیص می‌دهد (داده‌های NIH ChestX-ray14). الزامات: کوانت‌سازی INT8 (حریم خصوصی داده‌ها)، high recall (از دست دادن آسیب‌شناسی خطرناک‌تر از هشدار کاذب است)، استفاده از آستانه confidence < 0.4. پردازش روی دستگاه حریم خصوصی داده‌های پزشکی را تضمین می‌کند.