ऐप्स में टेक्स्ट रिकॉग्निशन — यह क्या है, OCR और Vision

टेक्स्ट रिकॉग्निशन क्या है: OCR सिद्धांत

टेक्स्ट रिकॉग्निशन (OCR) एक कंप्यूटर विज़न प्रक्रिया है जो टेक्स्ट इमेज को मशीन-पठनीय वर्णों में बदलती है। OCR में चरण शामिल हैं: इमेज प्रीप्रोसेसिंग (बाइनराइज़ेशन, डिस्क्यू, तिरछापन सुधार), सेगमेंटेशन (पंक्तियों, शब्दों, वर्णों में विभाजन), रिकॉग्निशन (प्रत्येक वर्ण का वर्गीकरण) और पोस्ट-प्रोसेसिंग (शब्दकोश जाँच, त्रुटि सुधार)। आधुनिक OCR सिस्टम (ML Kit, Vision) एंड-टू-एंड न्यूरल नेटवर्क का उपयोग करते हैं जो सभी चरणों को जोड़ते हैं।

OCR के प्रकार: मुद्रित टेक्स्ट (printed text) — दस्तावेज़ों, साइनों, स्क्रीनों से टाइप किए गए टेक्स्ट की पहचान — सटीकता 95–99%; हस्तलिखित टेक्स्ट (handwriting) — हस्तलिखित इनपुट की पहचान — लैटिन पर 80–90%, सिरिलिक पर 70–80% सटीकता; दृश्य टेक्स्ट (scene text) — प्राकृतिक दृश्यों में टेक्स्ट: घर के नंबर, सड़क संकेत, दुकान के नाम — परिप्रेक्ष्य विकृति और चमक के कारण सबसे कठिन।

CRNN + CTC Loss — आधुनिक OCR मॉडलों में उपयोग की जाने वाली आर्किटेक्चर। कन्वोल्यूशनल रिकरंट न्यूरल नेटवर्क (CNN + LSTM) इमेज विशेषताएँ निकालता है, जबकि कनेक्शनिस्ट टेम्पोरल क्लासिफिकेशन पूर्व सेगमेंटेशन की आवश्यकता के बिना वर्ण अनुक्रम को डिकोड करता है। CRNN किसी भी लंबाई के टेक्स्ट के साथ काम करता है और तिरछापन व विकृति के प्रति मजबूत है। arXiv (2025) के अनुसार, CRNN मॉडल ICDAR 2019 बेंचमार्क पर 97.5% सटीकता प्राप्त करते हैं।

मोबाइल उपकरणों के लिए CRNN — ML Kit INT8 क्वांटाइज़ेशन के साथ MobileNetV2 + CRNN मॉडल का उपयोग करता है। मॉडल 2–5 MB (लेटेंट) का होता है और TFLite Delegate के माध्यम से GPU/NPU पर चलता है। Tesseract (क्लासिक पाइपलाइन) के विपरीत, न्यूरल नेटवर्क OCR को अलग वर्ण सेगमेंटेशन की आवश्यकता नहीं होती और यह शोर के प्रति अधिक मजबूत है। कमी: रीयल-टाइम के लिए GPU या NPU आवश्यक है — शुद्ध CPU पर गति 5–10 FPS तक गिर जाती है।

Android और iOS पर ML Kit Text Recognition

ML Kit Text Recognition मोबाइल एप्लिकेशन के लिए प्राथमिक OCR उपकरण है। यह दो संस्करणों में उपलब्ध है: V2 (लैटिन-आधारित — लैटिन, सिरिलिक, अंकों के लिए अनुकूलित) और V1 (लैटिन + CJK — जापानी, चीनी, कोरियाई, लेकिन धीमा)। V2 एंड-टू-एंड CRNN मॉडल का उपयोग करता है, V1 पुराने CNN + LSTM का। Google CJK पहचान की आवश्यकता को छोड़कर सभी मामलों के लिए V2 की सिफारिश करता है।

ML Kit परिणाम संरचना: Text → TextBlock → Line → Element (Word/Symbol)। प्रत्येक स्तर में बाउंडिंग बॉक्स, कॉन्फ़िडेंस (0..1) और पहचाना गया टेक्स्ट होता है। Text रूट ऑब्जेक्ट है जिसमें fullText (सभी पहचाना गया टेक्स्ट एक पंक्ति में) होता है। TextBlock टेक्स्ट का एक तार्किक ब्लॉक है (पैराग्राफ, कॉलम)। Line टेक्स्ट की एक पंक्ति है। Element एक शब्द या प्रतीक है। गलत पहचान को फ़िल्टर करने के लिए confidence का उपयोग करें।

// ML Kit Text Recognition V2
val recognizer = TextRecognition.getClient(
    TextRecognizerOptions.DEFAULT_OPTIONS
)

recognizer.process(inputImage)
    .addOnSuccessListener { text ->
        val fullText = text.text
        text.textBlocks.forEach { block ->
            val blockText = block.text
            val blockRect = block.boundingBox
            block.lines.forEach { line ->
                line.elements.forEach { element ->
                    val word = element.text
                    val confidence = element.confidence
                }
            }
        }
    }
    .addOnFailureListener { error -> /* error */ }

iOS पर टेक्स्ट रिकॉग्निशन ML Kit के माध्यम से: API Android के समान है लेकिन InputImage के बजाय UIImage/CVPixelBuffer का उपयोग करता है। ML Kit स्वचालित रूप से Core ML Delegate के माध्यम से A12+ पर Apple Neural Engine का उपयोग करता है। iOS के लिए, ML Kit Text Recognition V2 iPhone 15 Pro पर 15–30 ms की गति दिखाता है। अधिकतम प्रदर्शन के लिए, पास करने से पहले UIImage को CVPixelBuffer में बदलें — इससे रूपांतरण ओवरहेड कम होता है।

Apple Vision Framework: VNRecognizeTextRequest

Apple Vision Framework VNRecognizeTextRequest (iOS 13+) के माध्यम से मूल OCR प्रदान करता है। Vision OCR Apple Neural Engine (ANE) का उपयोग करता है और अतिरिक्त SDK की आवश्यकता नहीं होती। 13 भाषाओं का समर्थन करता है (EN, FR, IT, DE, ES, PT, ZH, JP, KO, RU, AR, TH, VI)। Vision स्वचालित रूप से टेक्स्ट की भाषा का पता लगाता है (भाषा सुधार) और एक फ्रेम में कई भाषाओं का समर्थन करता है। गति — A16+ पर 10–40 ms।

Vision OCR विशेषताएँ: recognitionLevel (fast vs accurate), automaticLanguageDetection, customWords (विशिष्ट शब्द जोड़ना), supportsTop candidates (धुंधले टेक्स्ट के लिए कई पहचान विकल्प)। Fast मोड 10–20 ms में 90% सटीकता देता है, accurate मोड 30–50 ms में 95%। प्रोडक्शन के लिए, confidence >= 0.5 के साथ फ़िल्टर करते हुए accurate का उपयोग करें।

import Vision

let request = VNRecognizeTextRequest { request, error in
    guard let observations = request.results as? [VNRecognizedTextObservation] else { return }
    for observation in observations {
        let topCandidate = observation.topCandidates(1).first
        let text = topCandidate?.string ?? ""
        let confidence = topCandidate?.confidence ?? 0
        let boundingBox = observation.boundingBox
    }
}
request.recognitionLevel = .accurate
request.usesLanguageCorrection = true

let handler = VNImageRequestHandler(cgImage: cgImage, orientation: .up)
try handler.perform([request])

iOS पर Vision बनाम ML Kit: Vision पुराने उपकरणों (iPhone X–13) पर बिल्ट-इन ANE के कारण तेज़ है। ML Kit जटिल दृश्यों (विकृति, तिरछापन, चमक) पर Google के मॉडल के कारण अधिक सटीक है जो लाखों scene text इमेज पर प्रशिक्षित है। Vision अलग-अलग वर्णों के लिए confidence का समर्थन नहीं करता (केवल शब्दों के लिए), जो फ़िल्टरिंग को सीमित करता है। दस्तावेज़ों के लिए — Vision (तेज़), scene text के लिए — ML Kit (अधिक सटीक)।

Tesseract OCR: ओपन-सोर्स विकल्प

Tesseract OCR एक ओपन-सोर्स टेक्स्ट रिकॉग्निशन इंजन है जिसे HP (1985–1998) ने विकसित किया और Google (2006+) इसे बनाए रखता है। Tesseract 5 (LSTM-आधारित) CRNN न्यूरल नेटवर्क आर्किटेक्चर का उपयोग करता है, जो Tesseract 4 (क्लासिक + LSTM) की तुलना में महत्वपूर्ण सटीकता वृद्धि प्रदान करता है। Tesseract 100+ भाषाओं का समर्थन करता है, जिसमें सिरिलिक, अरबी, हिब्रू और CJK शामिल हैं। Android के लिए — tess-two (फ़ोर्क), iOS के लिए — swift-tesseract।

Tesseract की कमियाँ: गति 50–200 ms प्रति फ्रेम (केवल CPU, कोई GPU त्वरण नहीं), इंजन में पास करने से पहले इमेज प्रीप्रोसेसिंग (बाइनराइज़ेशन, डिस्क्यू, ओरिएंटेशन डिटेक्शन) आवश्यक है, कोई बिल्ट-इन टेक्स्ट डिटेक्शन नहीं — इमेज क्षेत्र पास करना होता है (अक्सर OpenCV Text Detection या EAST के साथ)। Tesseract साफ दस्तावेज़ों पर 90% और scene text पर ~70% सटीकता प्राप्त करता है।

Tesseract कब चुनें: यदि ऐप बिना Google Play (Huawei) वाले उपकरणों पर चलता है, दुर्लभ भाषाओं (संस्कृत, हिब्रू) के समर्थन की आवश्यकता है, या पूर्ण OCR पाइपलाइन अनुकूलन (कस्टम फ़ॉन्ट पर प्रशिक्षण) आवश्यक है। अन्य सभी मामलों के लिए, ML Kit या Vision तेज़, अधिक सटीक और कम कोड की आवश्यकता है। Tesseract केवल तभी उचित है जब तृतीय-पक्ष SDK पर प्रतिबंध हों।

// Tesseract OCR via tess-two
val tess = TessBaseAPI()
tess.init(dataPath, "rus+eng")
tess.pageSegMode = TessBaseAPI.PageSegMode.PSM_AUTO

val bitmap = BitmapFactory.decodeResource(resources, R.drawable.text)
val gray = Bitmap.createBitmap(bitmap.width, bitmap.height, Bitmap.Config.ARGB_8888)
OpenCV.process(bitmap, gray) // बाइनराइज़ेशन + डिस्क्यू

tess.setImage(gray)
val result = tess.utF8Text
tess.recycle()

Tesseract के लिए प्रीप्रोसेसिंग अनिवार्य है: ग्रेस्केल में बदलना, बाइनराइज़ेशन (Otsu या Adaptive), डिस्क्यू, शोर हटाना (median blur)। प्रीप्रोसेसिंग के बिना, Tesseract की सटीकता 50–60% तक गिर जाती है। प्रीप्रोसेसिंग के लिए OpenCV का उपयोग करें: Imgproc.cvtColor → Imgproc.threshold → Imgproc.erode/dilate → Core.rotate (deskew)। एक समान पृष्ठभूमि वाले दस्तावेज़ों के लिए बाइनराइज़ेशन पर्याप्त है, scene text के लिए पूर्ण पाइपलाइन की आवश्यकता है।

OCR के लिए इमेज प्रीप्रोसेसिंग

इमेज गुणवत्ता OCR सटीकता का मुख्य कारक है। ML Kit और Vision में बिल्ट-इन प्रीप्रोसेसिंग है, लेकिन कठिन मामलों (गहरे फोटो, धुंधलापन, ओवरएक्सपोज़र) के लिए अतिरिक्त प्रोसेसिंग सटीकता को 10–15% तक बढ़ाती है। मुख्य तकनीकें: कंट्रास्ट वृद्धि (CLAHE), शार्पनिंग (unsharp mask), परिप्रेक्ष्य सुधार (perspective transform), छाया और चमक हटाना।

CLAHE (कंट्रास्ट लिमिटेड एडेप्टिव हिस्टोग्राम इक्वलाइज़ेशन) — एडेप्टिव हिस्टोग्राम इक्वलाइज़ेशन जो स्थानीय क्षेत्रों में कंट्रास्ट में सुधार करता है। CLAHE असमान रोशनी वाले दस्तावेज़ों के फोटो के लिए प्रभावी है (आंशिक छाया, आंशिक प्रकाश)। OpenCV Core.createCLAHE clipLimit=2.0 और tileGridSize=(8,8) के साथ OCR के लिए इष्टतम परिणाम देता है। CLAHE के बाद, गहरे दस्तावेज़ों पर ML Kit की सटीकता 70% से 88% तक बढ़ जाती है।

परिप्रेक्ष्य सुधार — कोण पर लिए गए दस्तावेज़ों के फोटो के लिए अनिवार्य है। दस्तावेज़ को संरेखित करने के लिए OpenCV findHomography + warpPerspective का उपयोग करें। स्वचालित दस्तावेज़ सीमा पहचान के लिए, Canny edge detection + findContours + approxPolyDP का उपयोग करें। परिप्रेक्ष्य सुधार के बाद, >30° कोण पर लिए गए शॉट्स के लिए OCR सटीकता 20–30% तक बढ़ जाती है।

// CLAHE + OpenCV प्रीप्रोसेसिंग
val mat = Mat()
Utils.bitmapToMat(bitmap, mat)
Imgproc.cvtColor(mat, mat, Imgproc.COLOR_RGB2GRAY)

val clahe = Imgproc.createCLAHE(2.0, Size(8.0, 8.0))
clahe.apply(mat, mat)

Imgproc.GaussianBlur(mat, mat, Size(3.0, 3.0), 0.0)
Imgproc.threshold(mat, mat, 0.0, 255.0, Imgproc.THRESH_BINARY or Imgproc.THRESH_OTSU)

val processedBitmap = Bitmap.createBitmap(mat.cols(), mat.rows(), Bitmap.Config.ARGB_8888)
Utils.matToBitmap(mat, processedBitmap)

OCR से पहले टेक्स्ट डिटेक्शन — scene text के लिए, OCR में पास करने से पहले EAST (एफिशिएंट एक्यूरेट सीन टेक्स्ट डिटेक्टर) या CRAFT (कैरेक्टर रीज़न अवेयरनेस फॉर टेक्स्ट डिटेक्शन) का उपयोग करें। EAST 5–15 ms में दृश्य में टेक्स्ट बाउंडिंग बॉक्स का पता लगाता है। CRAFT अधिक सटीक (97%) है लेकिन धीमा (50–100 ms) है। टेक्स्ट डिटेक्शन बिना टेक्स्ट वाले क्षेत्रों को फ़िल्टर करने और OCR को केवल प्रासंगिक क्षेत्र पास करने की अनुमति देता है, जिससे समग्र प्रोसेसिंग तेज़ होती है।

मोबाइल ऐप्स में OCR के अनुप्रयोग

दस्तावेज़ स्कैनिंग — OCR का सबसे व्यापक अनुप्रयोग। स्कैनिंग ऐप्स (CamScanner, Adobe Scan, Google Drive) दस्तावेज़ों के फोटो से टेक्स्ट पहचानने के लिए ML Kit या Vision का उपयोग करते हैं। विशिष्ट पाइपलाइन: दस्तावेज़ सीमा पहचान → परिप्रेक्ष्य सुधार → CLAHE प्रोसेसिंग → OCR → फ़ॉर्मेटिंग (PDF, DOCX)। ML Kit Text Recognition V2 इसे प्रति A4 पृष्ठ 100–200 ms में संभालता है।

रीयल-टाइम टेक्स्ट अनुवाद — OCR और मशीन अनुवाद का संयोजन। Google Translate, Microsoft Translator, Yandex Translate कैमरे से टेक्स्ट पहचानने के लिए ML Kit या Vision का उपयोग करते हैं और मूल टेक्स्ट के ऊपर अनुवाद प्रदर्शित करते हैं (AR अनुवाद)। आवश्यकता: आरामदायक UX के लिए विलंबता < 200 ms। ML Kit V2 + NNAPI प्रति फ्रेम 30–80 ms देता है, अनुवाद और रेंडरिंग के लिए जगह छोड़ता है।

स्वचालित डेटा प्रविष्टि — विज़िटिंग कार्ड, बैंक कार्ड, पहचान पत्रों से डेटा निकालने के लिए OCR। ML Kit टेक्स्ट पहचानता है, फिर पोस्ट-प्रोसेसिंग संरचना पार्स करता है: नाम, फ़ोन, ईमेल (विज़िटिंग कार्ड) या कार्ड नंबर, समाप्ति, CVV (भुगतान कार्ड)। विज़िटिंग कार्ड के लिए, OCR के बाद रेगुलर एक्सप्रेशन का उपयोग करें। बैंक कार्ड के लिए — विशेष ML मॉडल (सशुल्क, ~99% सटीकता)।

// OCR + AR अनुवाद (सरलीकृत)
let request = VNRecognizeTextRequest { req, _ in
    guard let results = req.results as? [VNRecognizedTextObservation] else { return }
    for observation in results {
        let text = observation.topCandidates(1).first?.string ?? ""
        let rect = observation.boundingBox
        // अनुवाद और आयत पर AR रेंडरिंग
        DispatchQueue.main.async {
            overlayView.showTranslation(text, at: rect)
        }
    }
}
request.recognitionLevel = .fast
request.usesLanguageCorrection = false

दृष्टिबाधित उपयोगकर्ताओं के लिए OCR — सहायक तकनीक: ऐप्स पैकेज, मेनू, साइन से टेक्स्ट जोर से पढ़ते हैं। वे ML Kit OCR + टेक्स्ट-टू-स्पीच (Android TTS / iOS AVSpeechSynthesizer) का उपयोग करते हैं। मुख्य आवश्यकता — कम विलंबता (< 100 ms) के साथ रीयल-टाइम। Seeing AI (Microsoft) और Envision AI इस दृष्टिकोण का उपयोग करते हैं। एक्सेसिबिलिटी ऐप्स के लिए, फ़ास्ट रिकॉग्निशन मोड का उपयोग करें और confidence के आधार पर फ़िल्टर न करें — उपयोगकर्ता के लिए कोई भी टेक्स्ट मूल्यवान है।