ML Kit: Android اور iOS کے لیے لائبریریاں اور ML

ML Kit کیا ہے: صلاحیتیں اور فن تعمیر

ML Kit موبائل پلیٹ فارمز کے لیے Firebase-مطابق SDK ہے جو Android اور iOS کے لیے 14 ML APIs فراہم کرتا ہے۔ ML Kit نے 2020 میں Firebase ML (پرانا نام) کی جگہ لے لی اور اب Google Play Services (Android) یا CocoaPods/SPM (iOS) کے ذریعے ایک خود مختار SDK کے طور پر دستیاب ہے۔ اہم فائدہ یہ ہے کہ تمام ماڈلز ڈیوائس پر کام کرتے ہیں، ڈیٹا کی رازداری اور آف لائن آپریشن کو یقینی بناتے ہیں۔

ML Kit فن تعمیر دو طریقوں پر مبنی ہے: bundled (ماڈل APK/IPA میں شامل) اور downloaded (پہلی کال پر Google Play Services کے ذریعے ماڈل ڈاؤن لوڈ ہوتا ہے)۔ Bundled طریقہ فوری آغاز دیتا ہے لیکن ایپ کا سائز 5–20 MB بڑھا دیتا ہے۔ Downloaded طریقہ جگہ بچاتا ہے لیکن پہلے لانچ پر انٹرنیٹ کی ضرورت ہوتی ہے۔ Google ان APIs کے لیے downloaded کی سفارش کرتا ہے جو ہر اسکرین پر استعمال نہیں ہوتے (Object Detection, Pose Detection)۔

TFLite کے ذریعے تخصیص — ML Kit آپ کو Custom Model API کے ذریعے اپنا TensorFlow Lite ماڈل لوڈ کرنے کی اجازت دیتا ہے۔ یہ لچک فراہم کرتا ہے — معیاری کاموں کے لیے تیار APIs اور مخصوص کاموں کے لیے اپنا ماڈل استعمال کریں۔ ML Kit ByteBuffer اور FloatArray کے ساتھ کام کرنے والا ایک عالمی Input/Output ہینڈلر فراہم کرتا ہے۔ Google (2025) کے مطابق، 40% ML Kit پروجیکٹس تیار APIs اور کسٹم ماڈلز کو یکجا کرتے ہیں۔

// ML Kit Text Recognition سیٹ اپ (Android)
val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)

val image = InputImage.fromBitmap(bitmap)
recognizer.process(image)
    .addOnSuccessListener { result ->
        for (block in result.textBlocks) {
            Log.d("MLKit", block.text)
        }
    }
    .addOnFailureListener { error ->
        // پروسیسنگ کی خامی
    }

Firebase بمقابلہ خود مختار — ML Kit کو Firebase (Cloud فنکشنز، Analytics، Crashlytics) کے ساتھ یا Firebase کے بغیر ایک خود مختار SDK کے طور پر استعمال کیا جا سکتا ہے۔ خود مختار طریقہ Firebase اکاؤنٹ ترتیب دیے بغیر Google Play Services (Android) کے ذریعے جڑتا ہے۔ Cloud APIs Firebase (Cloud Vision, Natural Language) کے ذریعے ان کاموں کے لیے دستیاب ہیں جن کے لیے Google سرور پر نیورل نیٹ ورکس کی ضرورت ہوتی ہے — لیکن یہ خصوصیات ادائیگی والی ہیں اور ڈیوائس پر نہیں ہیں۔

ML Kit Text Recognition: ٹیکسٹ کی پہچان

ML Kit Text Recognition — تصاویر پر آپٹیکل کریکٹر ریکگنیشن (OCR) کے لیے API۔ دو طریقوں کو سپورٹ کرتا ہے: Latin-based (لاطینی، سیریلک، ہندسے — 45 زبانیں) اور Chinese/Japanese/Korean (CJK — تصویری زبانیں)۔ لاطینی پہچان V2 ماڈل (تیز) یا V1 (اعلی درستگی) استعمال کرتی ہے۔ V2 فی فریم 10–30 ms دیتا ہے، V1 — 50–100 ms۔

Text Recognition کی صلاحیتیں میں چھپے ہوئے اور ہاتھ سے لکھے ہوئے ٹیکسٹ کی پہچان، ٹیکسٹ کی سمت کا پتہ لگانا، لائنوں، الفاظ اور حروف کی نشاندہی، ٹیکسٹ کی زبان کا تعین شامل ہے۔ API ایک ڈھانچہ لوٹاتا ہے: Text → TextBlock → Line → Element (Word/Symbol)۔ ہر عنصر میں باؤنڈنگ باکس، اعتماد اور پہچانا گیا ٹیکسٹ ہوتا ہے۔ Google (2025) کے مطابق، لاطینی رسم الخط میں ML Kit Text Recognition V2 کی درستگی 96%، سیریلک میں — 91% ہے۔

ریئل ٹائم Text Recognition — ویڈیو سٹریم کے لیے CameraX یا Camera2 کا استعمال۔ ImageAnalysis.Analyzer بنائیں اور فریم ML Kit کو بھیجیں۔ کارکردگی کے لیے، فریم ریزولوشن کو 480p (640x480) تک کم کریں — یہ رفتار اور درستگی کے درمیان بہترین توازن ہے۔ ML Kit خود بخود تصویر کی گردش کو سنبھالتا ہے، لیکن زیادہ سے زیادہ رفتار کے لیے تصویر کو صحیح سمت میں بھیجیں۔

// CameraX Analyzer کے ساتھ ٹیکسٹ ریکگنیشن
class TextAnalyzer : ImageAnalysis.Analyzer {
    private val recognizer = TextRecognition.getClient(
        TextRecognizerOptions.DEFAULT_OPTIONS
    )

    override fun analyze(image: ImageProxy) {
        val inputImage = InputImage.fromMediaImage(
            image.image, image.imageInfo.rotationDegrees
        )
        recognizer.process(inputImage)
            .addOnSuccessListener { /* text found */ }
            .addOnCompleteListener { image.close() }
    }
}

Text Recognition کی اصلاح: دھندلی یا تاریک تصاویر کی پہچان بہتر بنانے کے لیے ImageDecoder استعمال کریں۔ چھپے ہوئے ٹیکسٹ کے لیے — TextRecognizerOptions.DEFAULT_OPTIONS (V2 ماڈل)۔ ہاتھ سے لکھے ٹیکسٹ کے لیے — TextRecognizerOptions.SCRIPT_LATIN (زیادہ درست لیکن سست)۔ IT Sectr پروجیکٹس میں ہم دستاویزات کی پہچان کے لیے V2 اور چیک اور رسیدوں کے لیے Latin ماڈل استعمال کرتے ہیں۔

ML Kit Face Detection: چہروں اور شکلوں کا پتہ لگانا

ML Kit Face Detection — تصاویر اور ویڈیو میں چہروں کا پتہ لگانے کے لیے API۔ چہرے کا باؤنڈنگ باکس، آنکھوں، ناک، منہ، کانوں کے کوآرڈینیٹ (468 کنٹور پوائنٹس) اور بنیادی تاثرات کا پتہ لگاتا ہے: مسکراہٹ، کھلا منہ، بند آنکھیں۔ Face Detection سب سے تیز ML Kit APIs میں سے ایک ہے: چہروں کی تعداد اور کنٹور پوائنٹس کے لحاظ سے 5–15 ms فی فریم۔

Face Detection کے طریقے: کنٹور طریقہ (عین مطابق ماسک/فلٹر اوورلے کے لیے 468 چہرے کے کنٹور پوائنٹس)، درجہ بندی کا طریقہ (مسکراہٹ، کھلی آنکھوں کا پتہ لگانا)، لینڈ مارک طریقہ (کنٹور کے بغیر اہم نکات)۔ طریقے FaceDetectorOptions میں مل جاتے ہیں۔ تمام طریقوں کو فعال کرنے سے پتہ لگانا 2–3 گنا سست ہو جاتا ہے — اپنے کام کے لیے کم از کم مطلوبہ سیٹ استعمال کریں۔

AR ایپلیکیشنز میں Face Detection — کنٹور پوائنٹس کی بنیاد پر، ML Kit Snapchat جیسے فلٹرز کے لیے چہرے کا ماسک بناتا ہے۔ ML Kit x, y, z کوآرڈینیٹس (z = گہرائی) کے ساتھ 468 پوائنٹس لوٹاتا ہے۔ جدید آلات پر پوائنٹس 30–60 بار فی سیکنڈ اپ ڈیٹ ہوتے ہیں۔ AR اوورلے کے لیے FaceMeshDetector (خصوصی ورژن) استعمال کریں — یہ ٹیکسچرنگ کے لیے میش مثلث بھی لوٹاتا ہے۔

// کنٹور پوائنٹس کے ساتھ فیس ڈیٹیکشن
val options = FaceDetectorOptions.Builder()
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val bounds = face.boundingBox
            val smileProb = face.smilingProbability
        }
    }

Face Detection کی حدود: API یہ نہیں پہچانتا کہ چہرہ کس کا ہے (فیس ریکگنیشن) — صرف چہروں کا پتہ لگاتا ہے۔ شناخت کے لیے کسٹم TFLite ماڈل پر FaceNet یا ArcFace استعمال کریں۔ ML Kit 45° تک کے زاویوں پر، عینک اور جزوی ماسک کے ساتھ چہروں پر صحیح کام کرتا ہے۔ پروفائل زاویوں (90°) پر درستگی 40–60% تک گر جاتی ہے۔

ML Kit Barcode Scanning: تمام کوڈ فارمیٹس پڑھنا

ML Kit Barcode Scanning — 1D (EAN, UPC, Code 128) اور 2D (QR, Data Matrix, PDF417) بارکوڈز کو پڑھنے اور ڈی کوڈ کرنے کے لیے API۔ Barcode Scanning تصویر میں کوڈ کا پتہ لگاتا ہے — ZXing کے برعکس جس میں کوڈ کو تقریباً پورا فریم گھیرنا ضروری ہوتا ہے۔ ML Kit کسی بھی سائز اور سمت کے کوڈز کا پتہ لگاتا ہے، بشمول ایک فریم میں متعدد کوڈز (ملٹی بارکوڈ موڈ)۔

معاون فارمیٹس: EAN-8, EAN-13, UPC-A, UPC-E, Code 39, Code 93, Code 128, ITF, Codabar, QR, Data Matrix, PDF417, Aztec۔ ML Kit خود بخود فارمیٹ کا تعین کرتا ہے — کوڈ کی قسم بتانے کی ضرورت نہیں ہے۔ پروڈکشن میں معاون فارمیٹس کو محدود کرنے کے لیے setBarcodeFormats() استعمال کریں — یہ غیر ضروری ڈی کوڈنگ الگورتھم کو خارج کرکے اسکیننگ کو 30–50% تیز کرتا ہے۔

ریئل ٹائم Barcode Scanning — Text Recognition کی طرح، CameraX کے ساتھ انضمام۔ ML Kit 60 FPS تک فریم پروسیس کرتا ہے۔ زیادہ سے زیادہ رفتار کے لیے setPerformanceMode(PerformanceMode.FAST) کو فعال کریں۔ ML Kit Barcode Scanning ZXing سے 2–3 گنا تیز ہے اور دھندلے یا جزوی طور پر ڈھکے کوڈز کا پتہ لگانے میں زیادہ درست ہے۔ Google (2025) کے مطابق، معیاری روشنی میں ML Kit Barcode Scanning کی درستگی 98.5% ہے۔

// فارمیٹ فلٹر کے ساتھ بارکوڈ اسکیننگ
val options = BarcodeScannerOptions.Builder()
    .setBarcodeFormats(Barcode.FORMAT_QR_CODE,
        Barcode.FORMAT_EAN_13)
    .build()
val scanner = BarcodeScanning.getClient(options)

scanner.process(inputImage)
    .addOnSuccessListener { barcodes ->
        barcodes.forEach { barcode ->
            val value = barcode.rawValue
            val type = barcode.format
        }
    }

ZXing کے ساتھ موازنہ: ML Kit تیز، زیادہ درست اور ضم کرنے میں آسان ہے۔ ZXing اوپن سورس ہے، مکمل طور پر آف لائن کام کرتا ہے، Google Play Services کی ضرورت نہیں ہے۔ ML Kit کو Google Play Services (Android) یا CocoaPods (iOS) کی ضرورت ہے۔ Google کے بغیر آلات (Huawei, Amazon Fire) پر چلنے والی ایپس کے لیے، فال بیک کے طور پر ZXing استعمال کریں۔ باقی کے لیے — ML Kit، کیونکہ یہ ملٹی کوڈ ڈیٹیکشن کے ذریعے بہتر UX فراہم کرتا ہے۔

ML Kit میں Object Detection اور Pose Detection

ML Kit Object Detection — تصاویر میں اشیاء کا پتہ لگانے اور ٹریک کرنے کے لیے API۔ 1000+ زمروں (ImageNet کلاسز) سے اشیاء کا پتہ لگاتا ہے — لوگ، جانور، گاڑیاں، گھریلو اشیاء۔ Object Detection دو طریقوں میں کام کرتا ہے: single-image (واحد تصویر) اور streaming (ٹریکنگ کے ساتھ ویڈیو سٹریم)۔ Streaming طریقہ فریموں کے درمیان اشیاء کو ٹریک کرتا ہے، ہر ایک کو ایک منفرد ٹریک ID فراہم کرتا ہے۔

Pose Detection — 33 اہم نکات (کنکال) کے ذریعے انسانی پوز کا تعین کرنے کے لیے API: سر، کندھے، کہنیاں، کلائیاں، کولہے، گھٹنے، پاؤں۔ ہر نقطہ کے کوآرڈینیٹس (x, y, z) اور اعتماد کا تعین کرتا ہے۔ Pose Detection فٹنس ٹریکرز (تکرار گنتی، فارم چیکنگ)، AR ایپلیکیشنز (اوتار حرکات کی نقل کرتا ہے) اور کھیلوں کے تجزیات میں استعمال ہوتا ہے۔ رفتار — لوگوں کی تعداد کے لحاظ سے 10–30 ms فی فریم۔

Object Tracking — فریموں کے درمیان ٹریکنگ کے ساتھ ML Kit Object Detection Optical Flow پر مبنی ٹریکر استعمال کرتا ہے۔ جب کسی شے کا پتہ چلتا ہے، ٹریکر دوبارہ پتہ لگائے بغیر اس کی پیروی کرتا ہے، CPU/GPU بچاتا ہے۔ اگر ٹریکر شے کھو دیتا ہے (تیز حرکت، رکاوٹ)، ML Kit دوبارہ پتہ لگانا شروع کرتا ہے۔ Google (2025) کے مطابق، ٹریکر 30 کلومیٹر/گھنٹہ تک کی رفتار پر 95% فریموں میں شے کو برقرار رکھتا ہے۔

// پوز ڈیٹیکشن (انسانی کنکال)
val poseDetector = PoseDetection.getClient(
    PoseDetectorOptions.Builder()
        .setDetectorMode(PoseDetectorOptions.STREAM_MODE)
        .build()
)

poseDetector.process(inputImage)
    .addOnSuccessListener { pose ->
        pose.allPoseLandmarks.forEach { landmark ->
            val type = landmark.landmarkType // بایاں_کندھا، دایاں_کہنی...
            val position = landmark.position3D
        }
    }

Selfie Segmentation — تصویر سے شخص کو الگ کرنے (پس منظر سے شخص کو الگ کرنے) کے لیے API۔ ہر پکسل کے لیے ایک اعتماد ماسک لوٹاتا ہے۔ Selfie Segmentation ویڈیو کالز، فوٹو ایڈیٹرز اور AR ایپلیکیشنز میں پس منظر کو دھندلا یا تبدیل کرنے کے لیے استعمال ہوتا ہے۔ ماسک اصل تصویر کے سائز کے UInt8Array کے طور پر لوٹایا جاتا ہے — ہر پکسل میں 0.0 (پس منظر) سے 1.0 (شخص) تک کی قدر ہوتی ہے۔

ML Kit میں کسٹم TFLite ماڈلز

Custom Model API — ML Kit انٹرفیس کے ذریعے اپنے TensorFlow Lite ماڈلز لوڈ اور چلانے کی صلاحیت۔ ML Kit ایک متحد Input/Output API فراہم کرتا ہے: ان پٹ کے طور پر ByteBuffer، آؤٹ پٹ کے طور پر FloatArray/TensorImage۔ یہ ML Kit کے فوائد (ماڈل مینجمنٹ، امیج پروسیسنگ، CameraX انضمام) کو فیس ریکگنیشن، آبجیکٹ کلاسیفیکیشن، NLP اور مزید کے لیے کسٹم ماڈلز کے ساتھ استعمال کرنے کی اجازت دیتا ہے۔

ماڈل لوڈ کرنا — .tflite فائل کو assets/ (Android) یا bundle (iOS) میں رکھیں اور CustomModelDownloadConditions یا Firebase Model Manager کے ذریعے لوڈ کریں۔ بڑے ماڈلز (5+ MB) ڈاؤن لوڈ کرنے کے لیے ڈاؤن لوڈ کی شرائط استعمال کریں: Wi-Fi، چارج، پس منظر۔ Google پہلے استعمال کے لمحے میں نہیں، بلکہ پہلے ایپ لانچ پر ماڈل ڈاؤن لوڈ کرنے کی سفارش کرتا ہے۔

// کسٹم TFLite ماڈل لوڈ ہو رہا ہے
val conditions = CustomModelDownloadConditions.Builder()
    .requireWifi()
    .build()
val remoteModel = CustomRemoteModel.Builder("my_model")
    .setRemoteModelName("my_model_v2")
    .build()

remoteModel.download(conditions)
    .addOnSuccessListener { /* model ready */ }
    .addOnFailureListener {
        // assets سے بنڈل ماڈل استعمال کریں
    }

کسٹم ماڈل کی اصلاح: ڈیلیگیٹ مطابقت کے ساتھ TFLite Converter استعمال کریں۔ زیادہ سے زیادہ کارکردگی کے لیے ماڈل کو کوانٹائز کریں (INT8) — یہ ماڈل کا سائز 4 گنا کم کرتا ہے اور XNNPACK Delegate کے ذریعے انفرنس کو 2–3 گنا تیز کرتا ہے۔ ML Kit Custom Model API Dynamic Shape (batch = 1), Image Input (UInt8, Float32) اور Tensor Output کو سپورٹ کرتا ہے۔