Object Detection: यह क्या है, एल्गोरिदम और कैसे काम करता है

Object Detection क्या है: कार्य सिद्धांत

Object Detection एक साथ दो कार्य हल करता है: छवि में क्या है (वर्गीकरण) और कहाँ (निर्देशांक प्रतिगमन)। मॉडल छवि को एक ग्रिड में विभाजित करता है, प्रत्येक कोशिका के लिए बाउंडिंग बॉक्स (x, y, चौड़ाई, ऊँचाई) और वर्ग संभावनाओं की भविष्यवाणी करता है। Non-Maximum Suppression (NMS) एक वस्तु के लिए डुप्लिकेट बॉक्स हटाता है, सबसे आत्मविश्वासपूर्ण भविष्यवाणी रखता है। आधुनिक आर्किटेक्चर दो-चरण (Faster R-CNN — पहले क्षेत्र प्रस्ताव, फिर वर्गीकरण) और एक-चरण (YOLO, SSD — सब कुछ एक साथ) में विभाजित हैं।

मूल्यांकन मीट्रिक्स: mAP (mean Average Precision) — Object Detection की मुख्य गुणवत्ता मीट्रिक। mAP@0.5 — IoU थ्रेशोल्ड 0.5 पर सटीकता, mAP@0.5:0.95 — 0.5 से 0.95 तक थ्रेशोल्ड पर औसत। FPS — फ्रेम प्रति सेकंड (अनुमान गति)। मोबाइल ऐप्लिकेशन के लिए, mAP/FPS संतुलन महत्वपूर्ण है: YOLOv8-Nano 50+ FPS पर 42% mAP@0.5:0.95 देता है, SSD MobileNet — 60+ FPS पर 22% mAP देता है। रियल-टाइम के लिए > 20 FPS, इंटरैक्टिव उपयोग के लिए 5–15 FPS।

IoU (Intersection over Union) — पूर्वानुमानित और वास्तविक बाउंडिंग बॉक्स के बीच ओवरलैप का मीट्रिक। IoU = प्रतिच्छेदन क्षेत्र / संघ क्षेत्र। NMS के लिए IoU थ्रेशोल्ड आमतौर पर 0.5–0.7 होता है। फ्रेमों के बीच वस्तु ट्रैकिंग (पुनः-पहचान) के लिए, IoU मिलान के साथ Deep SORT या ByteTrack का उपयोग करें। वीडियो में वस्तुओं की गिनती के लिए, BoT-SORT 85% MOTA (Multiple Object Tracking Accuracy) प्रदान करता है।

Anchor Boxes — पूर्वनिर्धारित बाउंडिंग बॉक्स आकार जिन्हें मॉडल समायोजित करता है। YOLOv8 एंकर-मुक्त डिटेक्शन (anchor-free) का उपयोग करता है, जो प्रशिक्षण को सरल बनाता है और अनुमान को गति देता है। SSD और पुराने YOLO को प्रत्येक डेटासेट के लिए एंकर ट्यूनिंग की आवश्यकता होती है। मोबाइल डेवलपमेंट के लिए, एंकर-मुक्त आर्किटेक्चर (YOLOv8, FCOS) बेहतर हैं — वे वस्तु के आकार पर निर्भर नहीं करते और अनुकूलित करने में आसान हैं।

ML Kit Object Detection और ट्रैकिंग

ML Kit Object Detection and Tracking — डिवाइस पर वस्तु डिटेक्शन और ट्रैकिंग के लिए Google की लाइब्रेरी। दो मोड का समर्थन करती है: सिंगल-इमेज डिटेक्टर (फ़ोटो के लिए) और स्ट्रीमिंग डिटेक्टर (वीडियो के लिए)। स्ट्रीमिंग मोड ऑप्टिकल फ्लो का उपयोग करके फ्रेमों के बीच स्वचालित रूप से वस्तुओं को ट्रैक करता है, प्रारंभिक डिटेक्शन के बाद फ्रेमों के बीच विलंबता को 5–10 ms तक कम करता है। श्रेणियाँ: fashion, food, home, places — प्रत्येक में 10–20 वर्ग।

ML Kit API: ObjectDetector (विकल्प: detectorMode, enableClassification, enableMultipleObjects) → InputImage → DetectedObject (trackingId, boundingBox, classificationCategory, classificationConfidence). TrackingId फ्रेमों में एक ही वस्तु को ट्रैक करने की अनुमति देता है। MultipleObjects = true — प्रति फ्रेम 5 वस्तुओं तक का पता लगाता है। Classification — वस्तु श्रेणी पहचान सक्षम करता है (गति के लिए डिफ़ॉल्ट false)। रियल-टाइम के लिए स्ट्रीमिंग मोड अनुशंसित: Pixel 6 पर 20–30 FPS।

val options = ObjectDetectorOptions.Builder()
    .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
    .enableClassification()
    .enableMultipleObjects()
    .build()

val detector = ObjectDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { objects ->
        objects.forEach { obj ->
            val box = obj.boundingBox
            val trackingId = obj.trackingId
            val category = obj.classificationCategory()
            drawBoundingBox(box, trackingId, category)
        }
    }

Object Tracking: पहले फ्रेम में वस्तु का पता लगाने के बाद, ML Kit पुनः डिटेक्शन के बिना वीडियो स्ट्रीम के माध्यम से इसकी ट्रैक करता है (ऑप्टिकल फ्लो + फ़ीचर ट्रैकिंग पर आधारित)। यह CPU/GPU लोड कम करता है: प्रारंभिक डिटेक्शन 30–60 ms, बाद के ट्रैकिंग फ्रेम 2–5 ms। यदि वस्तु फ्रेम से बाहर निकलती है या > 30° घूमती है, तो ट्रैकर रीसेट हो जाता है और पुनः डिटेक्शन की आवश्यकता होती है। जब तक वस्तु फ्रेम में है, TrackingId बना रहता है। अद्वितीय वस्तुओं की गिनती के लिए, पहचानकर्ता के रूप में trackingId का उपयोग करें।

YOLO: You Only Look Once मोबाइल उपकरणों पर

YOLOv8-Nano — एज डिवाइसों के लिए YOLOv8 (Ultralytics) का सबसे छोटा संस्करण। 2.6M पैरामीटर, 5.9 MB (FP16), COCO पर 42% mAP@0.5:0.95। YOLOv8 एंकर-मुक्त डिटेक्शन + C2f बैकबोन + TaskAlignedAssigner का उपयोग करता है। मोबाइल डेवलपमेंट के लिए, TFLite (INT8 — 2.0 MB, विलंबता 8–20 ms) और Core ML (4.5 MB, iPhone 15 Pro पर विलंबता 5–15 ms) में निर्यात उपलब्ध है। YOLOv8-Nano ऑन-डिवाइस रियल-टाइम Object Detection के लिए सबसे अच्छा विकल्प है।

YOLOv8 का TFLite में निर्यात: Ultralytics CLI प्रदान करता है: yolo export model=yolov8n.pt format=tflite int8। आउटपुट NNAPI के माध्यम से GPU Delegate के लिए अनुकूलित TFLite INT8 मॉडल है। कस्टम डेटासेट (आपकी अपनी श्रेणियाँ, COCO नहीं) के लिए — Ultralytics HUB के माध्यम से प्रति वर्ग 50–500 छवियों पर प्रशिक्षण। RT-DETR (Real-Time Detection Transformer) — Transformer आर्किटेक्चर पर आधारित एक विकल्प, NVIDIA Jetson पर 60 FPS पर 48% mAP, लेकिन मोबाइल उपकरणों के लिए यह अभी भी गति में YOLOv8-Nano से पीछे है।

# YOLOv8 export to TFLite
from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(format="tflite", int8=True, imgsz=320)

# Inference with TFLite on Android
val interpreter = Interpreter(loadFile("yolov8n_int8.tflite"))
val output = Array(1) { Array(8400) { FloatArray(6) } }
interpreter.run(inputBuffer, output)

YOLO बनाम ML Kit मोबाइल उपकरणों पर: ML Kit Object Detection एकीकृत करना आसान है (कोड की 10 पंक्तियाँ), ML विशेषज्ञता की आवश्यकता नहीं है, लेकिन मानक वर्गों (fashion, food, home, places) तक सीमित है। YOLOv8-Nano को कस्टम निर्यात की आवश्यकता है लेकिन पूर्ण नियंत्रण प्रदान करता है: कोई भी वर्ग, इनपुट आकार, आर्किटेक्चर। तेज़ प्रोटोटाइपिंग के लिए — ML Kit। गैर-मानक वस्तुओं के साथ उत्पादन के लिए — YOLOv8-Nano। iOS के लिए: Ultralytics + VNCoreMLRequest से मॉडल निर्यात के माध्यम से YOLOv8-Core ML।

SSD और अन्य ऑन-डिवाइस आर्किटेक्चर

SSD (Single Shot Multibox Detector) — मोबाइल उपकरणों के लिए एक क्लासिक एक-चरण आर्किटेक्चर। SSD MobileNetV2 — 2020–2023 में डी-फैक्टो मानक: COCO पर 22% mAP@0.5:0.95, Pixel 6 पर 15–40 ms। SSD विभिन्न आकारों की वस्तुओं का पता लगाने के लिए फ़ीचर पिरामिड (विभिन्न MobileNet परतें) और प्रत्येक फ़ीचर मैप कोशिका के लिए डिफ़ॉल्ट बॉक्स (एंकर बॉक्स) का उपयोग करता है। लाभ: अपने समय के लिए अधिकतम गति। नुकसान: छोटी वस्तुओं (10–30 px) पर कम सटीकता।

EfficientDet-Lite — Google (2020+) का एक परिवार, TFLite के लिए अनुकूलित। EfficientDet-Lite0: 3.9M पैरामीटर, 35% mAP, 20–50 ms। EfficientDet-Lite2: 8.1M, 42% mAP, 40–80 ms। EfficientDet मल्टी-स्केल फ़ीचर फ्यूज़न के लिए BiFPN (Bidirectional Feature Pyramid Network) का उपयोग करता है — यह विलंबता बढ़ाए बिना 2–4% mAP लाभ प्रदान करता है। मोबाइल डेवलपमेंट के लिए, Google TFLite Task Vision के लिए प्राथमिक डिटेक्टर के रूप में EfficientDet-Lite की अनुशंसा करता है।

MediaPipe Object Detector — MediaPipe Tasks Vision के भाग के रूप में EfficientDet-Lite पर आधारित एक तैयार कार्यान्वयन। Android, iOS, Python, Web के लिए एकीकृत API प्रदान करता है। MediaPipe Object Detector COCO वर्गों (80 वर्ग), कस्टम मॉडल, स्ट्रीमिंग मोड और CPU/GPU डेलिगेट का समर्थन करता है। क्रॉस-प्लेटफ़ॉर्म प्रोजेक्ट में तेज़ Object Detection एकीकरण के लिए, MediaPipe सबसे अच्छा विकल्प है: सभी प्लेटफ़ॉर्म के लिए एक कोड।

// MediaPipe Object Detection
val options = ObjectDetectorOptions.Builder()
    .setBaseOptions(BaseOptions.builder()
        .setDelegate(BaseOptions.Delegate.GPU)
        .build())
    .setMaxResults(5)
    .setScoreThreshold(0.5f)
    .build()

val detector = ObjectDetector.createFromOptions(context, options)

val image = MPImage.fromBitmap(bitmap)
val result = detector.detect(image)
result.detections.forEach { detection ->
    val box = detection.boundingBox
    val category = detection.categories.first()
}

मोबाइल ऐप्लिकेशन के लिए आर्किटेक्चर चुनना: मध्यम डिवाइसों पर > 30 FPS के लिए — YOLOv8-Nano (INT8) या SSD MobileNetV2। > 40% mAP सटीकता के लिए — YOLOv8-Small (11.2M) या EfficientDet-Lite2 (8.1M)। क्रॉस-प्लेटफ़ॉर्म के लिए — MediaPipe Object Detector। सरलता के लिए — ML Kit। iOS-पहले के लिए — Core ML + YOLOv8 .mlpackage। Android-पहले के लिए — TFLite Task Vision (ObjectDetector API)। प्रशिक्षण: Roboflow (डेटासेट) + Ultralytics YOLOv8 (प्रशिक्षण) + TFLite/Core ML में निर्यात।

TensorFlow Lite Task Vision API

TFLite Task Vision ObjectDetector — Android और iOS पर Object Detection मॉडल चलाने के लिए Google का एकीकृत API। Task API स्वचालित रूप से छवि प्रीप्रोसेसिंग (स्केलिंग, सामान्यीकरण, रंग स्थान रूपांतरण) और पोस्ट-प्रोसेसिंग (NMS, थ्रेशोल्डिंग) को संभालता है। डेवलपर को केवल .tflite मॉडल पास करना होता है और bounding box + श्रेणी + स्कोर के साथ Detections की सूची प्राप्त करनी होती है। Task API COCO-संगत मॉडल (80 वर्ग) का समर्थन करता है।

कस्टम मॉडल को Task API में परिवर्तित करना: TFLite मॉडल में इनपुट [1, height, width, 3] (float32/uint8) और आउटपुट: detection_boxes[1,N,4], detection_classes[1,N], detection_scores[1,N], num_detections[1] होना चाहिए। TensorFlow Object Detection API से पोस्ट-प्रोसेसिंग ops (SSD Postprocess) सहित निर्यात। YOLOv8 के लिए — ops-compat के माध्यम से NMS के साथ TFLite निर्यात। iOS पर Task API ANE पर त्वरण के लिए Core ML Delegate का उपयोग करता है।

// TFLite Task Vision Object Detector
val options = ObjectDetectorOptions.Builder()
    .setScoreThreshold(0.5f)
    .setMaxResults(10)
    .setDelegate(Delegate.GPU)
    .build()

val detector = ObjectDetector.createFromFileAndOptions(
    context, "custom_model.tflite", options
)

val image = TensorImage.fromBitmap(bitmap)
val results = detector.detect(image)
results.forEach { detection ->
    onObjectDetected(
        detection.boundingBox,
        detection.categories.first().label,
        detection.categories.first().score
    )
}

Task API प्रदर्शन: Android पर GPU Delegate CPU (XNNPACK) की तुलना में 3–5x त्वरण देता है। NPU वाले डिवाइसों (Pixel 8, Snapdragon 8 Gen 3, Dimensity 9300) पर NNAPI Delegate — अतिरिक्त 1.5–2x। Hexagon, DSP — DSP एक्सेलेरेटर पर 10x तक। iOS के लिए, Core ML Delegate — CPU की तुलना में 4–6x। Task API स्वचालित रूप से उपलब्ध हार्डवेयर एक्सेलेरेटर का चयन करता है, लेकिन DetectorOptions के माध्यम से डेलिगेट को बलपूर्वक निर्दिष्ट किया जा सकता है।

मोबाइल ऐप्लिकेशन में Object Detection के उपयोग

लोगों और वस्तुओं की गिनती — रिटेल एनालिटिक्स: स्टोर में आगंतुकों का पता लगाना, कतारों की गिनती, शेल्फ स्टॉक स्तर निर्धारित करना। एक फ्रेम में Object Detection पीपल काउंटर पैदल यातायात और रूपांतरण का अनुमान लगाने में मदद करता है। ML Kit Object Detector 30 FPS तक देता है — रियल-टाइम गिनती के लिए पर्याप्त। ज़ोन क्रॉसिंग के लिए — Object Detection + ByteTrack ट्रैकिंग का संयोजन। गिनती सटीकता: अच्छी रोशनी की स्थिति में 92–95%।

विनिर्माण में दोष डिटेक्शन — Object Detection कन्वेयर पर दोषों की पहचान करता है: खरोंच, चिप्स, दरारें, गलत असेंबली। एक कस्टम YOLOv8-Nano (INT8) मॉडल USB कैमरा से जुड़े Android टैबलेट पर चलता है। विलंबता: 20–40 ms प्रति फ्रेम (25–50 FPS)। जटिल दोषों (माइक्रो-क्रैक) के लिए — इनपुट रिज़ॉल्यूशन को 640x640 तक बढ़ाएँ (विलंबता 40–80 ms)। प्रशिक्षण: Roboflow — 200–1000 दोष छवियों का डेटासेट + Ultralytics YOLOv8।

रियल-टाइम AR ऑब्जेक्ट मार्किंग — ARCore (Android) और ARKit (iOS) सपाट सतहों, ऊर्ध्वाधर विमानों और 3D वस्तुओं को पहचानने के लिए Object Detection का उपयोग करते हैं। ML Kit Object Detection + ARCore Scene Semantics ऑब्जेक्ट सेग्मेंटेशन प्रदान करता है: दीवार, फर्श, छत, फर्नीचर। कस्टम AR मार्किंग के लिए — YOLOv8-Nano + SceneKit/SceneForm। रियल-टाइम आवश्यकता: > 20 FPS।

// ARKit + Object Detection
let request = VNCoreMLRequest(model: objectDetector) { req, _ in
    guard let results = req.results as? [VNDetectedObjectObservation] else { return }
    for result in results where result.confidence > 0.6 {
        let rect = result.boundingBox
        let worldPos = arView.hitTest(rect.center)
        arView.addAnchor(ARAnchor(name: label, transform: worldPos))
    }
}

चिकित्सा इमेजिंग — एक्स-रे, MRI, CT स्कैन के विश्लेषण के लिए Object Detection। डॉक्टर के मोबाइल डिवाइस पर ट्यूमर, फ्रैक्चर, पैथोलॉजी का पता लगाना। Android टैबलेट पर YOLOv8-Nano 15–30 ms में फेफड़ों के नोड्यूल का पता लगाता है जिसमें 89% संवेदनशीलता और 93% विशिष्टता (NIH ChestX-ray14 डेटा) है। आवश्यकताएँ: INT8 क्वांटाइज़ेशन (डेटा गोपनीयता), उच्च रिकॉल (पैथोलॉजी को छोड़ना गलत अलार्म से अधिक खतरनाक है), विश्वास सीमा < 0.4। ऑन-डिवाइस प्रोसेसिंग चिकित्सा डेटा गोपनीयता सुनिश्चित करती है।