ایپس میں متن کی شناخت — یہ کیا ہے، OCR اور Vision

متن کی شناخت کیا ہے: OCR اصول

متن کی شناخت (OCR) ایک کمپیوٹر وژن عمل ہے جو متن کی تصاویر کو مشین پڑھنے کے قابل حروف میں تبدیل کرتا ہے۔ OCR مراحل پر مشتمل ہے: تصویری پری پروسیسنگ (بائنرائزیشن، ڈیسکیو، جھکاؤ درستگی)، سیگمنٹیشن (سطور، الفاظ، حروف میں تقسیم)، شناخت (ہر حرف کی درجہ بندی) اور پوسٹ پروسیسنگ (لغت چیک، غلطی کی اصلاح)۔ جدید OCR سسٹم (ML Kit، Vision) اینڈ ٹو اینڈ نیورل نیٹ ورک استعمال کرتے ہیں جو تمام مراحل کو یکجا کرتے ہیں۔

OCR کی اقسام: چھپا ہوا متن — دستاویزات، نشانات، اسکرینوں سے ٹائپ شدہ متن کی پہچان — درستگی 95–99%؛ ہاتھ سے لکھا متن — ہاتھ سے لکھے ان پٹ کی پہچان — لاطینی پر 80–90%، سیریلک پر 70–80% درستگی؛ منظر متن — قدرتی مناظر میں متن: گھر کے نمبر، سڑک کے نشانات، دکانوں کے نام — تناظر کی تحریف اور چمک کی وجہ سے سب سے مشکل۔

CRNN + CTC Loss — جدید OCR ماڈلز میں استعمال ہونے والا فن تعمیر۔ کنولوشنل ریکرنٹ نیورل نیٹ ورک (CNN + LSTM) تصویری خصوصیات نکالتا ہے، جبکہ کنکشنسٹ ٹیمپورل کلاسیفکیشن پہلے سے سیگمنٹیشن کی ضرورت کے بغیر حرف کی ترتیب کو ڈی کوڈ کرتا ہے۔ CRNN کسی بھی لمبائی کے متن کے ساتھ کام کرتا ہے اور جھکاؤ اور تحریف کے خلاف مضبوط ہے۔ arXiv (2025) کے مطابق، CRNN ماڈل ICDAR 2019 بینچ مارک پر 97.5% درستگی حاصل کرتے ہیں۔

موبائل آلات کے لیے CRNN — ML Kit INT8 کوانٹائزیشن کے ساتھ MobileNetV2 + CRNN ماڈل استعمال کرتا ہے۔ ماڈل 2–5 MB (لیٹنٹ) کا ہوتا ہے اور TFLite Delegate کے ذریعے GPU/NPU پر چلتا ہے۔ Tesseract (کلاسک پائپ لائن) کے برعکس، نیورل نیٹ ورک OCR کو علیحدہ حرف سیگمنٹیشن کی ضرورت نہیں ہوتی اور یہ شور کے خلاف زیادہ مضبوط ہے۔ کمی: ریئل ٹائم کے لیے GPU یا NPU درکار ہے — خالص CPU پر رفتار 5–10 FPS تک گر جاتی ہے۔

Android اور iOS پر ML Kit Text Recognition

ML Kit Text Recognition موبائل ایپلیکیشنز کے لیے بنیادی OCR ٹول ہے۔ یہ دو ورژن میں دستیاب ہے: V2 (لاطینی پر مبنی — لاطینی، سیریلک، ہندسوں کے لیے بہتر کردہ) اور V1 (لاطینی + CJK — جاپانی، چینی، کورین، لیکن سست)۔ V2 اینڈ ٹو اینڈ CRNN ماڈل استعمال کرتا ہے، V1 پرانے CNN + LSTM کا استعمال کرتا ہے۔ Google CJK شناخت کی ضرورت کے علاوہ تمام صورتوں کے لیے V2 کی سفارش کرتا ہے۔

ML Kit نتیجہ کا ڈھانچہ: Text → TextBlock → Line → Element (Word/Symbol)۔ ہر سطح میں باؤنڈنگ باکس، اعتماد (0..1) اور پہچانا گیا متن ہوتا ہے۔ Text روٹ آبجیکٹ ہے جس میں fullText (تمام پہچانا گیا متن ایک سطر میں) ہوتا ہے۔ TextBlock متن کا ایک منطقی بلاک ہے (پیراگراف، کالم)۔ Line متن کی ایک سطر ہے۔ Element ایک لفظ یا علامت ہے۔ غلط پہچان کو فلٹر کرنے کے لیے confidence استعمال کریں۔

// ML Kit Text Recognition V2
val recognizer = TextRecognition.getClient(
    TextRecognizerOptions.DEFAULT_OPTIONS
)

recognizer.process(inputImage)
    .addOnSuccessListener { text ->
        val fullText = text.text
        text.textBlocks.forEach { block ->
            val blockText = block.text
            val blockRect = block.boundingBox
            block.lines.forEach { line ->
                line.elements.forEach { element ->
                    val word = element.text
                    val confidence = element.confidence
                }
            }
        }
    }
    .addOnFailureListener { error -> /* error */ }

iOS پر متن کی شناخت ML Kit کے ذریعے: API Android جیسی ہے لیکن InputImage کے بجائے UIImage/CVPixelBuffer استعمال کرتی ہے۔ ML Kit Core ML Delegate کے ذریعے A12+ پر Apple Neural Engine خود بخود استعمال کرتا ہے۔ iOS کے لیے، ML Kit Text Recognition V2 iPhone 15 Pro پر 15–30 ms کی رفتار دکھاتا ہے۔ زیادہ سے زیادہ کارکردگی کے لیے، پاس کرنے سے پہلے UIImage کو CVPixelBuffer میں تبدیل کریں — اس سے تبدیلی کا اوور ہیڈ کم ہوتا ہے۔

Apple Vision Framework: VNRecognizeTextRequest

Apple Vision Framework VNRecognizeTextRequest (iOS 13+) کے ذریعے مقامی OCR فراہم کرتا ہے۔ Vision OCR Apple Neural Engine (ANE) استعمال کرتا ہے اور اضافی SDK کی ضرورت نہیں ہے۔ 13 زبانوں کو سپورٹ کرتا ہے (EN, FR, IT, DE, ES, PT, ZH, JP, KO, RU, AR, TH, VI)۔ Vision خود بخود متن کی زبان کا پتہ لگاتا ہے (زبان کی اصلاح) اور ایک فریم میں متعدد زبانوں کو سپورٹ کرتا ہے۔ رفتار — A16+ پر 10–40 ms۔

Vision OCR خصوصیات: recognitionLevel (تیز بمقابلہ درست)، automaticLanguageDetection، customWords (مخصوص اصطلاحات شامل کرنا)، supportsTop candidates (دھندلے متن کے لیے متعدد پہچان کے متبادل)۔ تیز موڈ 10–20 ms میں 90% درستگی دیتا ہے، درست موڈ 30–50 ms میں 95% درستگی دیتا ہے۔ پروڈکشن کے لیے، confidence >= 0.5 کے ساتھ فلٹر کرتے ہوئے درست موڈ استعمال کریں۔

import Vision

let request = VNRecognizeTextRequest { request, error in
    guard let observations = request.results as? [VNRecognizedTextObservation] else { return }
    for observation in observations {
        let topCandidate = observation.topCandidates(1).first
        let text = topCandidate?.string ?? ""
        let confidence = topCandidate?.confidence ?? 0
        let boundingBox = observation.boundingBox
    }
}
request.recognitionLevel = .accurate
request.usesLanguageCorrection = true

let handler = VNImageRequestHandler(cgImage: cgImage, orientation: .up)
try handler.perform([request])

iOS پر Vision بمقابلہ ML Kit: Vision پرانے آلات (iPhone X–13) پر بلٹ ان ANE کی وجہ سے تیز ہے۔ ML Kit پیچیدہ مناظر (تحریف، جھکاؤ، چمک) میں Google کے ماڈل کی وجہ سے زیادہ درست ہے جو لاکھوں منظر متن کی تصاویر پر تربیت یافتہ ہے۔ Vision انفرادی حروف کے لیے اعتماد کو سپورٹ نہیں کرتا (صرف الفاظ کے لیے)، جو فلٹرنگ کو محدود کرتا ہے۔ دستاویزات کے لیے — Vision (تیز)، منظر متن کے لیے — ML Kit (زیادہ درست)۔

Tesseract OCR: اوپن سورس متبادل

Tesseract OCR ایک اوپن سورس متن کی شناخت کا انجن ہے جو HP (1985–1998) نے تیار کیا اور Google (2006+) اسے برقرار رکھتا ہے۔ Tesseract 5 (LSTM پر مبنی) CRNN نیورل نیٹ ورک فن تعمیر استعمال کرتا ہے، جو Tesseract 4 (کلاسک + LSTM) کے مقابلے میں نمایاں درستگی میں اضافہ فراہم کرتا ہے۔ Tesseract 100+ زبانوں کو سپورٹ کرتا ہے، جن میں سیریلک، عربی، عبرانی اور CJK شامل ہیں۔ Android کے لیے — tess-two (فورک)، iOS کے لیے — swift-tesseract۔

Tesseract کی خامیاں: رفتار 50–200 ms فی فریم (صرف CPU، کوئی GPU ایکسلریشن نہیں)، انجن میں پاس کرنے سے پہلے تصویری پری پروسیسنگ (بائنرائزیشن، ڈیسکیو، سمت کا پتہ لگانا) ضروری ہے، کوئی بلٹ ان ٹیکسٹ ڈیٹیکشن نہیں — تصویری علاقہ پاس کرنا ہوتا ہے (اکثر OpenCV Text Detection یا EAST کے ساتھ)۔ Tesseract صاف دستاویزات پر 90% اور منظر متن پر ~70% درستگی حاصل کرتا ہے۔

Tesseract کب منتخب کریں: اگر ایپ Google Play کے بغیر آلات (Huawei) پر چلتی ہے، نایاب زبانوں (سنسکرت، عبرانی) کے سپورٹ کی ضرورت ہے، یا مکمل OCR پائپ لائن حسب ضرورت (حسب منشا فونٹس پر تربیت) درکار ہے۔ دیگر تمام صورتوں کے لیے، ML Kit یا Vision تیز، زیادہ درست اور کم کوڈ کی ضرورت ہے۔ Tesseract صرف اس صورت میں جائز ہے جب تیسرے فریق SDK پر پابندیاں ہوں۔

// Tesseract OCR via tess-two
val tess = TessBaseAPI()
tess.init(dataPath, "rus+eng")
tess.pageSegMode = TessBaseAPI.PageSegMode.PSM_AUTO

val bitmap = BitmapFactory.decodeResource(resources, R.drawable.text)
val gray = Bitmap.createBitmap(bitmap.width, bitmap.height, Bitmap.Config.ARGB_8888)
OpenCV.process(bitmap, gray) // بائنرائزیشن + ڈیسکیو

tess.setImage(gray)
val result = tess.utF8Text
tess.recycle()

Tesseract کے لیے پری پروسیسنگ لازمی ہے: گرے اسکیل میں تبدیلی، بائنرائزیشن (Otsu یا Adaptive)، ڈیسکیو، شور ہٹانا (median blur)۔ پری پروسیسنگ کے بغیر، Tesseract کی درستگی 50–60% تک گر جاتی ہے۔ پری پروسیسنگ کے لیے OpenCV استعمال کریں: Imgproc.cvtColor → Imgproc.threshold → Imgproc.erode/dilate → Core.rotate (deskew)۔ یکساں پس منظر والی دستاویزات کے لیے بائنرائزیشن کافی ہے، منظر متن کے لیے مکمل پائپ لائن ضروری ہے۔

OCR کے لیے تصویری پری پروسیسنگ

تصویری معیار OCR درستگی کا بنیادی عنصر ہے۔ ML Kit اور Vision میں بلٹ ان پری پروسیسنگ ہے، لیکن مشکل صورتوں میں (سیاہ تصویریں، دھندلاپن، زیادہ نمائش) اضافی پروسیسنگ درستگی کو 10–15% بڑھاتی ہے۔ اہم تکنیکیں: کنٹراسٹ میں اضافہ (CLAHE)، شارپننگ (unsharp mask)، تناظر کی اصلاح (perspective transform)، سایہ اور چمک ہٹانا۔

CLAHE (کنٹراسٹ لمیٹڈ ایڈاپٹو ہسٹوگرام ایکویلائزیشن) — ایڈاپٹو ہسٹوگرام ایکویلائزیشن جو مقامی علاقوں میں کنٹراسٹ بہتر کرتی ہے۔ CLAHE غیر مساوی روشنی والی دستاویزات کی تصاویر کے لیے مؤثر ہے (جزوی سایہ، جزوی روشنی)۔ clipLimit=2.0 اور tileGridSize=(8,8) کے ساتھ OpenCV Core.createCLAHE OCR کے لیے بہترین نتائج دیتا ہے۔ CLAHE کے بعد، سیاہ دستاویزات پر ML Kit کی درستگی 70% سے 88% تک بڑھ جاتی ہے۔

تناظر کی اصلاح — زاویے سے لی گئی دستاویزات کی تصاویر کے لیے لازمی ہے۔ دستاویز کو سیدھ میں لانے کے لیے OpenCV findHomography + warpPerspective استعمال کریں۔ خودکار دستاویز کی حدود کا پتہ لگانے کے لیے، Canny edge detection + findContours + approxPolyDP استعمال کریں۔ تناظر کی اصلاح کے بعد، >30° زاویے سے لی گئی تصاویر کے لیے OCR درستگی 20–30% بڑھ جاتی ہے۔

// CLAHE + OpenCV پری پروسیسنگ
val mat = Mat()
Utils.bitmapToMat(bitmap, mat)
Imgproc.cvtColor(mat, mat, Imgproc.COLOR_RGB2GRAY)

val clahe = Imgproc.createCLAHE(2.0, Size(8.0, 8.0))
clahe.apply(mat, mat)

Imgproc.GaussianBlur(mat, mat, Size(3.0, 3.0), 0.0)
Imgproc.threshold(mat, mat, 0.0, 255.0, Imgproc.THRESH_BINARY or Imgproc.THRESH_OTSU)

val processedBitmap = Bitmap.createBitmap(mat.cols(), mat.rows(), Bitmap.Config.ARGB_8888)
Utils.matToBitmap(mat, processedBitmap)

OCR سے پہلے متن کا پتہ لگانا — منظر متن کے لیے، OCR میں پاس کرنے سے پہلے EAST (مؤثر درست منظر متن کا پتہ لگانے والا) یا CRAFT (متن کا پتہ لگانے کے لیے حرف علاقہ آگاہی) استعمال کریں۔ EAST 5–15 ms میں منظر میں متن کے باؤنڈنگ باکس کا پتہ لگاتا ہے۔ CRAFT زیادہ درست ہے (97%) لیکن سست ہے (50–100 ms)۔ متن کا پتہ لگانا متن کے بغیر علاقوں کو فلٹر کرنے اور صرف متعلقہ علاقوں کو OCR میں پاس کرنے کی اجازت دیتا ہے، جس سے مجموعی پروسیسنگ تیز ہوتی ہے۔

موبائل ایپس میں OCR کے استعمال

دستاویز اسکیننگ — OCR کی سب سے عام ایپلیکیشن۔ اسکیننگ ایپس (CamScanner، Adobe Scan، Google Drive) دستاویزات کی تصاویر سے متن پہچاننے کے لیے ML Kit یا Vision استعمال کرتی ہیں۔ عام پائپ لائن: دستاویز کی حدود کا پتہ لگانا → تناظر کی اصلاح → CLAHE پروسیسنگ → OCR → فارمیٹنگ (PDF, DOCX)۔ ML Kit Text Recognition V2 اسے ہر A4 صفحہ پر 100–200 ms میں ہینڈل کرتا ہے۔

ریئل ٹائم متن کا ترجمہ — OCR اور مشینی ترجمے کا امتزاج۔ Google Translate، Microsoft Translator، Yandex Translate کیمرے سے متن پہچاننے کے لیے ML Kit یا Vision استعمال کرتے ہیں اور اصلی متن کے اوپر ترجمہ ڈسپلے کرتے ہیں (AR ترجمہ)۔ ضرورت: آرام دہ UX کے لیے تاخیر < 200 ms۔ ML Kit V2 + NNAPI فی فریم 30–80 ms دیتا ہے، ترجمہ اور رینڈرنگ کے لیے جگہ چھوڑتا ہے۔

خودکار ڈیٹا انٹری — بزنس کارڈز، بینک کارڈز، شناختی کارڈز سے ڈیٹا نکالنے کے لیے OCR۔ ML Kit متن پہچانتا ہے، پھر پوسٹ پروسیسنگ ڈھانچہ پارس کرتی ہے: نام، فون، ای میل (بزنس کارڈز) یا کارڈ نمبر، میعاد ختم ہونے کی تاریخ، CVV (ادائیگی کارڈز)۔ بزنس کارڈز کے لیے، OCR کے بعد ریگولر ایکسپریشن استعمال کریں۔ بینک کارڈز کے لیے — خصوصی ML ماڈل (ادا شدہ، ~99% درستگی)۔

// OCR + AR ترجمہ (آسان کردہ)
let request = VNRecognizeTextRequest { req, _ in
    guard let results = req.results as? [VNRecognizedTextObservation] else { return }
    for observation in results {
        let text = observation.topCandidates(1).first?.string ?? ""
        let rect = observation.boundingBox
        // ترجمہ اور مستطیل پر AR رینڈرنگ
        DispatchQueue.main.async {
            overlayView.showTranslation(text, at: rect)
        }
    }
}
request.recognitionLevel = .fast
request.usesLanguageCorrection = false

بینائی سے محروم صارفین کے لیے OCR — معاون ٹیکنالوجی: ایپس پیکیجز، مینیوز، نشانات سے متن بلند آواز سے پڑھتی ہیں۔ وہ ML Kit OCR + Text-to-Speech (Android TTS / iOS AVSpeechSynthesizer) استعمال کرتی ہیں۔ کلیدی ضرورت — کم تاخیر (< 100 ms) کے ساتھ ریئل ٹائم۔ Seeing AI (Microsoft) اور Envision AI یہ طریقہ استعمال کرتے ہیں۔ رسائی ایپس کے لیے، تیز شناخت موڈ استعمال کریں اور اعتماد کی بنیاد پر فلٹر نہ کریں — کوئی بھی متن صارف کے لیے قیمتی ہے۔