앱에서의 텍스트 인식 — 정의, OCR 및 Vision

텍스트 인식이란: OCR 원리

텍스트 인식(OCR)은 텍스트 이미지를 기계가 읽을 수 있는 문자로 변환하는 컴퓨터 비전 프로세스입니다. OCR은 이미지 전처리(이진화, 데스큐, 기울기 보정), 세분화(줄, 단어, 문자로 분할), 인식(각 문자 분류), 후처리(사전 확인, 오류 수정) 단계로 구성됩니다. 최신 OCR 시스템(ML Kit, Vision)은 모든 단계를 결합한 엔드투엔드 신경망을 사용합니다.

OCR 유형: 인쇄 텍스트 — 문서, 간판, 화면에서 타자된 텍스트 인식 — 정확도 95~99%; 필기 텍스트 — 손글씨 입력 인식 — 라틴 문자 80~90%, 키릴 문자 70~80% 정확도; 장면 텍스트 — 자연 장면의 텍스트: 집 번호, 도로 표지판, 상점 이름 — 원근 왜곡과 반사 때문에 가장 어려움.

CRNN + CTC Loss — 최신 OCR 모델에 사용되는 아키텍처입니다. 합성곱 순환 신경망(CNN + LSTM)이 이미지 특징을 추출하고, Connectionist Temporal Classification이 사전 세분화 없이 문자 시퀀스를 디코딩합니다. CRNN은 모든 길이의 텍스트에서 작동하며 기울기와 왜곡에 강합니다. arXiv(2025)에 따르면, CRNN 모델은 ICDAR 2019 벤치마크에서 97.5%의 정확도를 달성합니다.

모바일 기기용 CRNN — ML Kit는 INT8 양자화를 적용한 MobileNetV2 + CRNN 모델을 사용합니다. 모델 크기는 2~5MB(잠재)이며 TFLite Delegate를 통해 GPU/NPU에서 실행됩니다. Tesseract(클래식 파이프라인)와 달리, 신경망 OCR은 별도의 문자 세분화가 필요 없고 노이즈에 더 강합니다. 단점: 실시간 처리를 위해 GPU나 NPU가 필요 — 순수 CPU에서는 속도가 5~10FPS로 떨어집니다.

Android 및 iOS의 ML Kit Text Recognition

ML Kit Text Recognition은 모바일 애플리케이션을 위한 주요 OCR 도구입니다. V2(라틴 문자 기반 — 라틴, 키릴, 숫자에 최적화)와 V1(라틴 + CJK — 일본어, 중국어, 한국어 지원하지만 느림) 두 가지 버전으로 제공됩니다. V2는 엔드투엔드 CRNN 모델을 사용하고, V1은 이전 CNN + LSTM을 사용합니다. Google은 CJK 인식이 필요하지 않은 모든 경우에 V2를 권장합니다.

ML Kit 결과 구조: Text → TextBlock → Line → Element(Word/Symbol). 각 수준에는 바운딩 박스, 신뢰도(0..1) 및 인식된 텍스트가 있습니다. Text는 fullText(모든 인식된 텍스트를 한 줄로)를 가진 루트 객체입니다. TextBlock은 논리적 텍스트 블록(문단, 열)입니다. Line은 텍스트 줄입니다. Element는 단어 또는 기호입니다. 부정확한 인식을 필터링하려면 confidence를 사용하세요.

// ML Kit Text Recognition V2
val recognizer = TextRecognition.getClient(
    TextRecognizerOptions.DEFAULT_OPTIONS
)

recognizer.process(inputImage)
    .addOnSuccessListener { text ->
        val fullText = text.text
        text.textBlocks.forEach { block ->
            val blockText = block.text
            val blockRect = block.boundingBox
            block.lines.forEach { line ->
                line.elements.forEach { element ->
                    val word = element.text
                    val confidence = element.confidence
                }
            }
        }
    }
    .addOnFailureListener { error -> /* error */ }

iOS의 텍스트 인식(ML Kit 통해): API는 Android와 유사하지만 InputImage 대신 UIImage/CVPixelBuffer를 사용합니다. ML Kit는 Core ML Delegate를 통해 A12+의 Apple Neural Engine을 자동으로 사용합니다. iOS에서 ML Kit Text Recognition V2는 iPhone 15 Pro에서 15~30ms의 속도를 보입니다. 최대 성능을 위해 전달하기 전에 UIImage를 CVPixelBuffer로 변환하세요 — 변환 오버헤드가 줄어듭니다.

Apple Vision Framework: VNRecognizeTextRequest

Apple Vision Framework는 VNRecognizeTextRequest(iOS 13+)를 통해 네이티브 OCR을 제공합니다. Vision OCR은 Apple Neural Engine(ANE)을 사용하며 추가 SDK가 필요하지 않습니다. 13개 언어(EN, FR, IT, DE, ES, PT, ZH, JP, KO, RU, AR, TH, VI)를 지원합니다. Vision은 텍스트의 언어를 자동 감지하고(언어 보정) 단일 프레임에서 여러 언어를 지원합니다. 속도 — A16+에서 10~40ms.

Vision OCR 기능: recognitionLevel(빠름 vs 정확), automaticLanguageDetection, customWords(특정 용어 추가), supportsTop candidates(흐릿한 텍스트에 대한 여러 인식 변형). 빠른 모드는 10~20ms에서 90% 정확도, 정확 모드는 30~50ms에서 95% 정확도를 제공합니다. 프로덕션에서는 confidence >= 0.5로 필터링하면서 정확 모드를 사용하세요.

import Vision

let request = VNRecognizeTextRequest { request, error in
    guard let observations = request.results as? [VNRecognizedTextObservation] else { return }
    for observation in observations {
        let topCandidate = observation.topCandidates(1).first
        let text = topCandidate?.string ?? ""
        let confidence = topCandidate?.confidence ?? 0
        let boundingBox = observation.boundingBox
    }
}
request.recognitionLevel = .accurate
request.usesLanguageCorrection = true

let handler = VNImageRequestHandler(cgImage: cgImage, orientation: .up)
try handler.perform([request])

iOS에서 Vision vs ML Kit: Vision은 내장 ANE 덕분에 구형 기기(iPhone X~13)에서 더 빠릅니다. ML Kit는 수백만 개의 장면 텍스트 이미지로 학습된 Google 모델 덕분에 복잡한 장면(왜곡, 기울기, 반사)에서 더 정확합니다. Vision은 개별 문자에 대한 confidence를 지원하지 않으며(단어만), 필터링이 제한됩니다. 문서에는 Vision(더 빠름), 장면 텍스트에는 ML Kit(더 정확)가 적합합니다.

Tesseract OCR: 오픈소스 대안

Tesseract OCR은 HP(1985~1998)가 개발하고 Google(2006+)이 유지 관리하는 오픈소스 텍스트 인식 엔진입니다. Tesseract 5(LSTM 기반)는 CRNN 신경망 아키텍처를 사용하여 Tesseract 4(클래식 + LSTM)보다 정확도가 크게 향상되었습니다. Tesseract는 키릴 문자, 아랍어, 히브리어, CJK를 포함한 100개 이상의 언어를 지원합니다. Android용 — tess-two(포크), iOS용 — swift-tesseract.

Tesseract 단점: 속도 50~200ms/프레임(CPU 전용, GPU 가속 없음), 엔진에 전달하기 전에 이미지 전처리(이진화, 데스큐, 방향 감지) 필요, 내장 텍스트 감지 없음 — 이미지 영역을 전달해야 함(종종 OpenCV Text Detection 또는 EAST와 함께 사용). Tesseract는 깨끗한 문서에서 90%, 장면 텍스트에서 ~70%의 정확도를 달성합니다.

Tesseract를 선택해야 하는 경우: 앱이 Google Play가 없는 기기(Huawei)에서 실행되거나, 희귀 언어(산스크리트어, 히브리어) 지원이 필요하거나, 완전한 OCR 파이프라인 사용자 정의(사용자 정의 폰트 학습)가 필요한 경우. 다른 모든 경우에는 ML Kit 또는 Vision이 더 빠르고 정확하며 코드가 적게 필요합니다. Tesseract는 타사 SDK에 제한이 있을 때만 정당화됩니다.

// Tesseract OCR via tess-two
val tess = TessBaseAPI()
tess.init(dataPath, "rus+eng")
tess.pageSegMode = TessBaseAPI.PageSegMode.PSM_AUTO

val bitmap = BitmapFactory.decodeResource(resources, R.drawable.text)
val gray = Bitmap.createBitmap(bitmap.width, bitmap.height, Bitmap.Config.ARGB_8888)
OpenCV.process(bitmap, gray) // 이진화 + 데스큐

tess.setImage(gray)
val result = tess.utF8Text
tess.recycle()

Tesseract 전처리는 필수입니다: 그레이스케일 변환, 이진화(Otsu 또는 Adaptive), 데스큐, 노이즈 제거(median blur). 전처리 없이 Tesseract의 정확도는 50~60%로 떨어집니다. 전처리에 OpenCV를 사용하세요: Imgproc.cvtColor → Imgproc.threshold → Imgproc.erode/dilate → Core.rotate(deskew). 균일한 배경의 문서에는 이진화로 충분하지만, 장면 텍스트에는 전체 파이프라인이 필요합니다.

OCR을 위한 이미지 전처리

이미지 품질은 OCR 정확도의 주요 요소입니다. ML Kit와 Vision에는 내장 전처리가 있지만, 어려운 경우(어두운 사진, 흐림, 과다 노출) 추가 처리를 통해 정확도를 10~15% 높일 수 있습니다. 주요 기술: 대비 향상(CLAHE), 선명화(unsharp mask), 원근 보정(perspective transform), 그림자 및 반사 제거.

CLAHE(대비 제한 적응형 히스토그램 평활화) — 로컬 영역의 대비를 개선하는 적응형 히스토그램 평활화입니다. CLAHE는 조명이 고르지 않은 문서 사진(일부 그림자, 일부 조명)에 효과적입니다. clipLimit=2.0, tileGridSize=(8,8)의 OpenCV Core.createCLAHE는 OCR에 최적의 결과를 제공합니다. CLAHE 후 어두운 문서에서 ML Kit 정확도가 70%에서 88%로 향상됩니다.

원근 보정 — 각도로 촬영한 문서 사진에 필수입니다. 문서 정렬을 위해 OpenCV findHomography + warpPerspective를 사용하세요. 자동 문서 경계 감지를 위해 Canny edge detection + findContours + approxPolyDP를 사용하세요. 원근 보정 후 30° 이상 각도로 촬영한 사진의 OCR 정확도가 20~30% 향상됩니다.

// CLAHE + OpenCV 전처리
val mat = Mat()
Utils.bitmapToMat(bitmap, mat)
Imgproc.cvtColor(mat, mat, Imgproc.COLOR_RGB2GRAY)

val clahe = Imgproc.createCLAHE(2.0, Size(8.0, 8.0))
clahe.apply(mat, mat)

Imgproc.GaussianBlur(mat, mat, Size(3.0, 3.0), 0.0)
Imgproc.threshold(mat, mat, 0.0, 255.0, Imgproc.THRESH_BINARY or Imgproc.THRESH_OTSU)

val processedBitmap = Bitmap.createBitmap(mat.cols(), mat.rows(), Bitmap.Config.ARGB_8888)
Utils.matToBitmap(mat, processedBitmap)

OCR 전 텍스트 감지 — 장면 텍스트의 경우 OCR에 전달하기 전에 EAST(효율적 정확한 장면 텍스트 감지기) 또는 CRAFT(문자 영역 인식 기반 텍스트 감지)를 사용하세요. EAST는 5~15ms 내에 장면의 텍스트 바운딩 박스를 감지합니다. CRAFT는 더 정확하지만(97%) 더 느립니다(50~100ms). 텍스트 감지를 통해 텍스트가 없는 영역을 필터링하고 관련 영역만 OCR에 전달하여 전체 처리를 가속화할 수 있습니다.

모바일 앱에서 OCR 활용

문서 스캔 — 가장 널리 사용되는 OCR 응용 프로그램입니다. 스캔 앱(CamScanner, Adobe Scan, Google Drive)은 ML Kit 또는 Vision을 사용하여 문서 사진에서 텍스트를 인식합니다. 일반적인 파이프라인: 문서 경계 감지 → 원근 보정 → CLAHE 처리 → OCR → 형식 지정(PDF, DOCX). ML Kit Text Recognition V2는 A4 페이지당 100~200ms로 처리합니다.

실시간 텍스트 번역 — OCR과 기계 번역의 조합입니다. Google Translate, Microsoft Translator, Yandex Translate는 카메라에서 텍스트를 인식하기 위해 ML Kit 또는 Vision을 사용하고 원본 텍스트 위에 번역을 오버레이합니다(AR 번역). 요구 사항: 편안한 UX를 위한 지연 시간 < 200ms. ML Kit V2 + NNAPI는 프레임당 30~80ms를 제공하여 번역 및 렌더링에 여유를 남깁니다.

자동 데이터 입력 — 명함, 은행 카드, 신분증에서 데이터를 추출하는 OCR입니다. ML Kit가 텍스트를 인식한 다음 후처리가 구조를 파싱합니다: 이름, 전화번호, 이메일(명함) 또는 카드 번호, 만료일, CVV(결제 카드). 명함의 경우 OCR 후 정규 표현식을 사용하세요. 은행 카드의 경우 — 특수 ML 모델(유료, ~99% 정확도).

// OCR + AR 번역(간소화)
let request = VNRecognizeTextRequest { req, _ in
    guard let results = req.results as? [VNRecognizedTextObservation] else { return }
    for observation in results {
        let text = observation.topCandidates(1).first?.string ?? ""
        let rect = observation.boundingBox
        // 번역 및 사각형 위 AR 렌더링
        DispatchQueue.main.async {
            overlayView.showTranslation(text, at: rect)
        }
    }
}
request.recognitionLevel = .fast
request.usesLanguageCorrection = false

시각 장애인을 위한 OCR — 보조 기술: 앱이 포장, 메뉴, 간판의 텍스트를 소리내어 읽어줍니다. ML Kit OCR + Text-to-Speech(Android TTS / iOS AVSpeechSynthesizer)를 사용합니다. 주요 요구 사항 — 낮은 지연 시간(< 100ms)의 실시간 처리. Seeing AI(Microsoft)와 Envision AI가 이 접근 방식을 사용합니다. 접근성 앱의 경우 빠른 인식 모드를 사용하고 confidence로 필터링하지 마세요 — 어떤 텍스트든 사용자에게 가치가 있습니다.