Text Recognition in apps — wat is het, OCR en Vision

Wat is Text Recognition: OCR-principes

Text Recognition (OCR) — computer vision-proces dat een afbeelding van tekst omzet in machineleesbare tekens. OCR bestaat uit fasen: voorbewerking van de afbeelding (binarisatie, deskew, corrigeren van scheefstand), segmentatie (opsplitsen in regels, woorden, tekens), herkenning (classificatie van elk teken) en nabewerking (controleren met woordenboek, corrigeren van fouten). Moderne OCR-systemen (ML Kit, Vision) gebruiken end-to-end neurale netwerken die alle fasen combineren.

Soorten OCR: gedrukte tekst (printed text) — herkenning van machinaal geschreven tekst uit documenten, borden, schermen — nauwkeurigheid 95–99%; handgeschreven tekst (handwriting) — herkenning van handschrift — nauwkeurigheid 80–90% voor Latijns, 70–80% voor Cyrillisch; contexttekst (scene text) — tekst in natuurlijke scènes: huisnummers, verkeersborden, winkelnamen — het moeilijkst vanwege perspectivische vervormingen en reflecties.

CRNN + CTC Loss — architectuur gebruikt in moderne OCR-modellen. Convolutional Recurrent Neural Network (CNN + LSTM) extraheert kenmerken van de afbeelding, en Connectionist Temporal Classification decodeert de reeks tekens zonder voorafgaande segmentatie. CRNN werkt met teksten van elke lengte, is bestand tegen scheefstand en vervormingen. Volgens arXiv (2025) leveren CRNN-modellen 97.5% nauwkeurigheid op de ICDAR 2019 benchmark.

CRNN voor mobiele apparaten — ML Kit gebruikt het MobileNetV2 + CRNN-model met INT8-kwantificatie. Het model neemt 2–5 MB (latent) in beslag en wordt uitgevoerd op GPU/NPU via TFLite Delegate. In tegenstelling tot Tesseract (klassieke pipeline) heeft neuraal netwerk OCR geen aparte tekensegmentatie nodig en is het beter bestand tegen ruis. Nadeel: vereist GPU of NPU voor real-time — op pure CPU daalt de snelheid naar 5–10 FPS.

ML Kit Text Recognition op Android en iOS

ML Kit Text Recognition — het belangrijkste OCR-gereedschap voor mobiele apps. Beschikbaar in twee versies: V2 (Latin-based — geoptimaliseerd voor Latijns, Cyrillisch, cijfers) en V1 (Latin + CJK — Japans, Chinees, Koreaans, maar langzamer). V2 gebruikt een end-to-end CRNN-model, V1 — oudere CNN + LSTM. Google beveelt V2 aan voor alle gevallen behalve wanneer CJK-herkenning nodig is.

Structuur van het ML Kit-resultaat: Text → TextBlock → Line → Element (Word/Symbol). Elk niveau heeft een bounding box, confidence (0..1) en recognised text. Text — het hoofdobject met fullText (alle herkende tekst in één regel). TextBlock — een logisch tekstblok (alinea, kolom). Line — een tekstregel. Element — een woord of symbool. Gebruik confidence om onnauwkeurige herkenningen te filteren.

// ML Kit Text Recognition V2
val recognizer = TextRecognition.getClient(
    TextRecognizerOptions.DEFAULT_OPTIONS
)

recognizer.process(inputImage)
    .addOnSuccessListener { text ->
        val fullText = text.text
        text.textBlocks.forEach { block ->
            val blockText = block.text
            val blockRect = block.boundingBox
            block.lines.forEach { line ->
                line.elements.forEach { element ->
                    val word = element.text
                    val confidence = element.confidence
                }
            }
        }
    }
    .addOnFailureListener { error -> /* error */ }

Text Recognition op iOS via ML Kit: API vergelijkbaar met Android, maar gebruikt UIImage/CVPixelBuffer in plaats van InputImage. ML Kit maakt automatisch gebruik van Apple Neural Engine op A12+ via Core ML Delegate. Voor iOS toont ML Kit Text Recognition V2 een snelheid van 15–30 ms op iPhone 15 Pro. Converteer UIImage naar CVPixelBuffer vóór verzending voor maximale prestaties — dit vermindert de conversie-overhead.

Apple Vision Framework: VNRecognizeTextRequest

Apple Vision Framework biedt native OCR via VNRecognizeTextRequest (iOS 13+). Vision OCR maakt gebruik van Apple Neural Engine (ANE) en heeft geen extra SDK's nodig. Ondersteunt 13 talen (EN, FR, IT, DE, ES, PT, ZH, JP, KO, RU, AR, TH, VI). Vision detecteert automatisch de taal van de tekst (language correction) en ondersteunt meerdere talen in één frame. Snelheid — 10–40 ms op A16+.

Kenmerken van Vision OCR: recognitionLevel (fast vs accurate), automaticLanguageDetection, customWords (toevoegen van specifieke termen), ondersteuning voor top candidates (meerdere herkenningsvarianten voor onduidelijke tekst). Fast-modus geeft 90% nauwkeurigheid bij 10–20 ms, accurate — 95% bij 30–50 ms. Gebruik voor productie accurate met filtering op confidence >= 0.5.

import Vision

let request = VNRecognizeTextRequest { request, error in
    guard let observations = request.results as? [VNRecognizedTextObservation] else { return }
    for observation in observations {
        let topCandidate = observation.topCandidates(1).first
        let text = topCandidate?.string ?? ""
        let confidence = topCandidate?.confidence ?? 0
        let boundingBox = observation.boundingBox
    }
}
request.recognitionLevel = .accurate
request.usesLanguageCorrection = true

let handler = VNImageRequestHandler(cgImage: cgImage, orientation: .up)
try handler.perform([request])

Vision vs ML Kit op iOS: Vision is sneller op oudere apparaten (iPhone X–13) dankzij ingebouwde ANE. ML Kit is nauwkeuriger op complexe scènes (vervormingen, scheefstand, reflecties) dankzij het Google-model getraind op miljoenen scene text-afbeeldingen. Vision ondersteunt geen confidence voor individuele tekens (alleen voor woorden), wat filtering beperkt. Voor documenten — Vision (sneller), voor scene text — ML Kit (nauwkeuriger).

Tesseract OCR: open-source alternatief

Tesseract OCR — open-source tekstherkenningsengine, ontwikkeld door HP (1985–1998) en voortgezet door Google (2006+). Tesseract 5 (LSTM-based) gebruikt de CRNN-neurale netwerkarchitectuur, wat een aanzienlijke nauwkeurigheidstoename geeft in vergelijking met Tesseract 4 (klassiek + LSTM). Tesseract ondersteunt 100+ talen, waaronder Cyrillisch, Arabisch, Hebreeuws en CJK. Voor Android — tess-two (fork), voor iOS — swift-tesseract.

Nadelen van Tesseract: snelheid 50–200 ms per frame (CPU-only, geen GPU-versnelling), vereist voorbewerking van de afbeelding (binarisatie, deskew, oriëntatiebepaling) vóór verzending naar de engine, geen ingebouwde tekstdetectie — het afbeeldingsgebied moet worden doorgegeven (vaak in combinatie met OpenCV Text Detection of EAST). Tesseract geeft 90% nauwkeurigheid op schone documenten en ~70% op scene text.

Wanneer Tesseract kiezen: als de app werkt op apparaten zonder Google Play (Huawei), ondersteuning voor zeldzame talen (Sanskriet, Hebreeuws) nodig is, of volledige aanpassing van de OCR-pipeline (trainen op eigen lettertypen) vereist is. In alle andere gevallen zijn ML Kit of Vision sneller, nauwkeuriger en hebben ze minder code nodig. Tesseract is alleen gerechtvaardigd bij beperkingen op SDK's van derden.

// Tesseract OCR via tess-two
val tess = TessBaseAPI()
tess.init(dataPath, "rus+eng")
tess.pageSegMode = TessBaseAPI.PageSegMode.PSM_AUTO

val bitmap = BitmapFactory.decodeResource(resources, R.drawable.text)
val gray = Bitmap.createBitmap(bitmap.width, bitmap.height, Bitmap.Config.ARGB_8888)
OpenCV.process(bitmap, gray) // Binarisatie + deskew

tess.setImage(gray)
val result = tess.utF8Text
tess.recycle()

Voorbewerking voor Tesseract is verplicht: conversie naar grayscale, binarisatie (Otsu of Adaptive), corrigeren van scheefstand (deskew), ruisverwijdering (median blur). Zonder voorbewerking daalt de nauwkeurigheid van Tesseract naar 50–60%. Gebruik OpenCV voor voorbewerking: Imgproc.cvtColor → Imgproc.threshold → Imgproc.erode/dilate → Core.rotate (deskew). Voor documenten met een egale achtergrond is binarisatie voldoende, voor scene text — volledige pipeline.

Voorbewerking van afbeeldingen voor OCR

Beeldkwaliteit — de belangrijkste factor voor OCR-nauwkeurigheid. ML Kit en Vision hebben ingebouwde voorbewerking, maar voor complexe gevallen (donkere foto's, vervaging, overbelichting) verhoogt extra verwerking de nauwkeurigheid met 10–15%. Belangrijkste technieken: contrastverhoging (CLAHE), vervaging verwijderen (unsharp mask), perspectiefcorrectie (perspective transform), verwijderen van schaduwen en reflecties.

CLAHE (Contrast Limited Adaptive Histogram Equalization) — adaptieve histogramegalisatie met contrastbegrenzing, die het contrast van lokale gebieden verbetert. CLAHE is effectief voor foto's van documenten met ongelijkmatige verlichting (deel in schaduw, deel in licht). OpenCV Core.createCLAHE met clipLimit=2.0 en tileGridSize=(8,8) geeft het optimale resultaat voor OCR. Na CLAHE stijgt de nauwkeurigheid van ML Kit op donkere documenten van 70% naar 88%.

Perspectiefcorrectie — verplicht voor foto's van documenten onder een hoek. Gebruik OpenCV findHomography + warpPerspective om het document uit te lijnen. Gebruik Canny edge detection + findContours + approxPolyDP voor automatische detectie van documentranden. Na perspectiefcorrectie neemt de OCR-nauwkeurigheid toe met 20–30% voor opnamen onder een hoek >30°.

// CLAHE + OpenCV voorbewerking
val mat = Mat()
Utils.bitmapToMat(bitmap, mat)
Imgproc.cvtColor(mat, mat, Imgproc.COLOR_RGB2GRAY)

val clahe = Imgproc.createCLAHE(2.0, Size(8.0, 8.0))
clahe.apply(mat, mat)

Imgproc.GaussianBlur(mat, mat, Size(3.0, 3.0), 0.0)
Imgproc.threshold(mat, mat, 0.0, 255.0, Imgproc.THRESH_BINARY or Imgproc.THRESH_OTSU)

val processedBitmap = Bitmap.createBitmap(mat.cols(), mat.rows(), Bitmap.Config.ARGB_8888)
Utils.matToBitmap(mat, processedBitmap)

Tekstdetectie vóór OCR — gebruik voor scene text EAST (Efficient Accurate Scene Text Detector) of CRAFT (Character Region Awareness for Text Detection) vóór verzending naar OCR. EAST detecteert de bounding box van tekst in de scène in 5–15 ms. CRAFT is nauwkeuriger (97%), maar langzamer (50–100 ms). Tekstdetectie maakt het mogelijk gebieden zonder tekst weg te snijden en alleen relevante delen naar OCR te sturen, wat de totale verwerking versnelt.

Toepassing van OCR in mobiele apps

Documenten scannen — de meest gebruikte toepassing van OCR. Scan-apps (CamScanner, Adobe Scan, Google Drive) gebruiken ML Kit of Vision voor tekstherkenning van documentfoto's. Typische pipeline: detectie van documentranden → perspectiefcorrectie → CLAHE-verwerking → OCR → opmaak (PDF, DOCX). ML Kit Text Recognition V2 verwerkt een A4-pagina in 100–200 ms.

Realtime tekstvertaling — combinatie van OCR en machinevertaling. Google Translate, Microsoft Translator, Yandex Translate gebruiken ML Kit of Vision voor tekstherkenning van de camera en plaatsen de vertaling over de originele tekst (AR-vertaling). Vereiste: latency < 200 ms voor comfortabele UX. ML Kit V2 + NNAPI geeft 30–80 ms per frame, met ruimte voor vertaling en rendering.

Automatische gegevensinvoer — OCR voor het extraheren van gegevens van visitekaartjes, bankpassen, identiteitsbewijzen. ML Kit herkent de tekst, vervolgens parseert post-processing de structuur: naam, telefoon, e-mail (visitekaartjes) of kaartnummer, vervaldatum, CVV (betaalkaarten). Gebruik reguliere expressies na OCR voor visitekaartjes. Voor bankpassen — gespecialiseerde ML-modellen (betaald, ~99% nauwkeurigheid).

// OCR + AR-vertaling (vereenvoudigd)
let request = VNRecognizeTextRequest { req, _ in
    guard let results = req.results as? [VNRecognizedTextObservation] else { return }
    for observation in results {
        let text = observation.topCandidates(1).first?.string ?? ""
        let rect = observation.boundingBox
        // Vertaling en AR-rendering over rechthoek
        DispatchQueue.main.async {
            overlayView.showTranslation(text, at: rect)
        }
    }
}
request.recognitionLevel = .fast
request.usesLanguageCorrection = false

OCR voor mensen met een visuele beperking — Ondersteunende Technologie: apps lezen tekst van verpakkingen, menu's, borden voor. Ze gebruiken ML Kit OCR + Text-to-Speech (Android TTS / iOS AVSpeechSynthesizer). Belangrijkste vereiste — real-time met lage latentie (< 100 ms). Seeing AI (Microsoft) en Envision AI gebruiken deze benadering. Gebruik voor toegankelijkheidsapps de fast recognition-modus en filter niet op confidence — alle tekst is belangrijk voor de gebruiker.