ML Kit: Bibliotheken und ML für Android und iOS

Was ist ML Kit: Funktionen und Architektur

ML Kit ist ein Firebase-kompatibles SDK für mobile Plattformen, das 14 ML-APIs für Android und iOS bereitstellt. ML Kit ersetzte 2020 Firebase ML (alter Name) und ist jetzt als eigenständiges SDK über Google Play Services (Android) oder CocoaPods/SPM (iOS) verfügbar. Der Hauptvorteil besteht darin, dass alle Modelle auf dem Gerät arbeiten, was Datenschutz und Offline-Betrieb gewährleistet.

ML Kit Architektur basiert auf zwei Modi: gebündelt (Modell in APK/IPA eingebettet) und heruntergeladen (Modell wird beim ersten Aufruf über Google Play Services heruntergeladen). Der gebündelte Modus ermöglicht sofortigen Start, erhöht jedoch die App-Größe um 5–20 MB. Der heruntergeladene Modus spart Speicherplatz, benötigt aber beim ersten Start Internet. Google empfiehlt den Download-Modus für APIs, die nicht auf jedem Bildschirm verwendet werden (Object Detection, Pose Detection).

Anpassung über TFLite — ML Kit ermöglicht das Laden eigener TensorFlow Lite-Modelle über die Custom Model API. Dies bietet Flexibilität — verwenden Sie fertige APIs für Standardaufgaben und Ihr eigenes Modell für spezifische Aufgaben. ML Kit bietet einen universellen Input/Output-Handler, der mit ByteBuffer und FloatArray arbeitet. Laut Google (2025) kombinieren 40% der ML Kit-Projekte fertige APIs und benutzerdefinierte Modelle.

// ML Kit Text Recognition Setup (Android)
val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)

val image = InputImage.fromBitmap(bitmap)
recognizer.process(image)
    .addOnSuccessListener { result ->
        for (block in result.textBlocks) {
            Log.d("MLKit", block.text)
        }
    }
    .addOnFailureListener { error ->
        // Verarbeitungsfehler
    }

Firebase vs. eigenständig — ML Kit kann mit Firebase (Cloud-Funktionen, Analytics, Crashlytics) oder als eigenständiges SDK ohne Firebase verwendet werden. Der eigenständige Modus verbindet sich über Google Play Services (Android) ohne Einrichtung eines Firebase-Kontos. Cloud-APIs sind über Firebase (Cloud Vision, Natural Language) für Aufgaben verfügbar, die neuronale Netze auf Google-Servern erfordern — diese Funktionen sind jedoch kostenpflichtig und nicht on-device.

ML Kit Text Recognition: Texterkennung

ML Kit Text Recognition — API für optische Zeichenerkennung (OCR) auf Bildern. Unterstützt zwei Modi: Latin-based (Latein, Kyrillisch, Ziffern — 45 Sprachen) und Chinese/Japanese/Korean (CJK — ideografische Sprachen). Die lateinische Erkennung verwendet das V2-Modell (schneller) oder V1 (hochgenau). V2 liefert 10–30 ms pro Frame, V1 — 50–100 ms.

Text Recognition Funktionen umfassen die Erkennung von gedrucktem und handgeschriebenem Text, Erkennung der Textausrichtung, Erkennung von Zeilen, Wörtern und Zeichen, Bestimmung der Textsprache. Die API gibt eine Struktur zurück: Text → TextBlock → Line → Element (Word/Symbol). Jedes Element hat einen Begrenzungsrahmen, Konfidenz und erkannten Text. Laut Google (2025) beträgt die Genauigkeit von ML Kit Text Recognition V2 bei lateinischer Schrift 96%, bei kyrillischer Schrift 91%.

Text Recognition in Echtzeit — Verwendung mit CameraX oder Camera2 für Videostream. Erstellen Sie einen ImageAnalysis.Analyzer und übergeben Sie Frames an ML Kit. Reduzieren Sie für die Leistung die Frame-Auflösung auf 480p (640x480) — dies ist die optimale Balance zwischen Geschwindigkeit und Genauigkeit. ML Kit verarbeitet die Bilddrehung automatisch, aber für maximale Geschwindigkeit übergeben Sie das Bild in der richtigen Ausrichtung.

// Text Recognition mit CameraX Analyzer
class TextAnalyzer : ImageAnalysis.Analyzer {
    private val recognizer = TextRecognition.getClient(
        TextRecognizerOptions.DEFAULT_OPTIONS
    )

    override fun analyze(image: ImageProxy) {
        val inputImage = InputImage.fromMediaImage(
            image.image, image.imageInfo.rotationDegrees
        )
        recognizer.process(inputImage)
            .addOnSuccessListener { /* text found */ }
            .addOnCompleteListener { image.close() }
    }
}

Text Recognition Optimierung: Verwenden Sie ImageDecoder, um die Erkennung von verschwommenen oder dunklen Bildern zu verbessern. Für gedruckten Text — TextRecognizerOptions.DEFAULT_OPTIONS (V2-Modell). Für handgeschriebenen Text — TextRecognizerOptions.SCRIPT_LATIN (genauer aber langsamer). In IT Sectr-Projekten verwenden wir V2 für die Dokumentenerkennung und das Latin-Modell für Schecks und Quittungen.

ML Kit Face Detection: Gesichts- und Konturerkennung

ML Kit Face Detection — API zur Erkennung von Gesichtern in Bildern und Videos. Erkennt den Gesichtsbegrenzungsrahmen, Augen-, Nasen-, Mund-, Ohrenkoordinaten (468 Konturpunkte) und grundlegende Ausdrücke: Lächeln, offener Mund, geschlossene Augen. Face Detection ist eine der schnellsten ML Kit-APIs: 5–15 ms pro Frame, abhängig von der Anzahl der Gesichter und Konturpunkte.

Face Detection Modi: Konturmodus (468 Gesichtskonturpunkte für präzise Masken-/Filterüberlagerung), Klassifikationsmodus (Erkennung von Lächeln, offenen Augen), Landmark-Modus (Schlüsselpunkte ohne Kontur). Die Modi werden in FaceDetectorOptions kombiniert. Das Aktivieren aller Modi verlangsamt die Erkennung um das 2–3-fache — verwenden Sie den minimal erforderlichen Satz für Ihre Aufgabe.

Face Detection in AR-Anwendungen — basierend auf Konturpunkten erstellt ML Kit eine Gesichtsmaske für Snapchat-ähnliche Filter. ML Kit gibt 468 Punkte mit x-, y-, z-Koordinaten (z = Tiefe) zurück. Die Punkte werden auf modernen Geräten 30–60 Mal pro Sekunde aktualisiert. Für AR-Overlays verwenden Sie FaceMeshDetector (spezialisierte Version) — er gibt auch Netzdreiecke für die Texturierung zurück.

// Gesichtserkennung mit Konturpunkten
val options = FaceDetectorOptions.Builder()
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val bounds = face.boundingBox
            val smileProb = face.smilingProbability
        }
    }

Face Detection Einschränkungen: Die API erkennt nicht, wem ein Gesicht gehört (Gesichtserkennung) — sie erkennt nur Gesichter. Für die Identifikation verwenden Sie FaceNet oder ArcFace auf einem benutzerdefinierten TFLite-Modell. ML Kit arbeitet korrekt mit Gesichtern in Winkeln bis zu 45°, mit Brille und Teilmasken. Bei Profilwinkeln (90°) sinkt die Genauigkeit auf 40–60%.

ML Kit Barcode Scanning: Lesen aller Codeformate

ML Kit Barcode Scanning — API zum Lesen und Dekodieren von 1D- (EAN, UPC, Code 128) und 2D-Barcodes (QR, Data Matrix, PDF417). Barcode Scanning erkennt den Code im Bild — im Gegensatz zu ZXing, bei dem der Code fast das gesamte Bild einnehmen muss. ML Kit erkennt Codes jeder Größe und Ausrichtung, einschließlich mehrerer Codes in einem Frame (Multi-Barcode-Modus).

Unterstützte Formate: EAN-8, EAN-13, UPC-A, UPC-E, Code 39, Code 93, Code 128, ITF, Codabar, QR, Data Matrix, PDF417, Aztec. ML Kit ermittelt automatisch das Format — Sie müssen den Codetyp nicht angeben. Verwenden Sie in der Produktion setBarcodeFormats(), um die unterstützten Formate einzuschränken — dies beschleunigt das Scannen um 30–50% durch Ausschluss unnötiger Dekodierungsalgorithmen.

Barcode Scanning in Echtzeit — ähnlich wie Text Recognition, Integration mit CameraX. ML Kit verarbeitet Frames mit bis zu 60 FPS. Aktivieren Sie für maximale Geschwindigkeit setPerformanceMode(PerformanceMode.FAST). ML Kit Barcode Scanning ist 2–3x schneller als ZXing und genauer bei der Erkennung von verschwommenen oder teilweise verdeckten Codes. Laut Google (2025) hat ML Kit Barcode Scanning eine Genauigkeit von 98,5% bei Standardbeleuchtung.

// Barcode-Scanning mit Formatfilter
val options = BarcodeScannerOptions.Builder()
    .setBarcodeFormats(Barcode.FORMAT_QR_CODE,
        Barcode.FORMAT_EAN_13)
    .build()
val scanner = BarcodeScanning.getClient(options)

scanner.process(inputImage)
    .addOnSuccessListener { barcodes ->
        barcodes.forEach { barcode ->
            val value = barcode.rawValue
            val type = barcode.format
        }
    }

Vergleich mit ZXing: ML Kit ist schneller, genauer und einfacher zu integrieren. ZXing ist Open-Source, arbeitet vollständig offline und benötigt keine Google Play Services. ML Kit benötigt Google Play Services (Android) oder CocoaPods (iOS). Für Apps auf Geräten ohne Google (Huawei, Amazon Fire) verwenden Sie ZXing als Fallback. Für andere — ML Kit, da es durch Multi-Code-Erkennung eine bessere UX bietet.

Object Detection und Pose Detection in ML Kit

ML Kit Object Detection — API zum Erkennen und Verfolgen von Objekten in Bildern. Erkennt Objekte aus über 1000 Kategorien (ImageNet-Klassen) — Menschen, Tiere, Fahrzeuge, Haushaltsgegenstände. Object Detection arbeitet in zwei Modi: Einzelbild (Einzelfoto) und Streaming (Videostream mit Tracking). Der Streaming-Modus verfolgt Objekte zwischen Frames und weist jedem eine eindeutige Track-ID zu.

Pose Detection — API zur Bestimmung der menschlichen Pose anhand von 33 Schlüsselpunkten (Skelett): Kopf, Schultern, Ellbogen, Handgelenke, Hüften, Knie, Füße. Bestimmt Koordinaten (x, y, z) und Konfidenz für jeden Punkt. Pose Detection wird in Fitness-Trackern (Wiederholungszählung, Formkontrolle), AR-Anwendungen (Avatar imitiert Bewegungen) und Sportanalysen verwendet. Geschwindigkeit — 10–30 ms pro Frame, abhängig von der Personenzahl.

Object Tracking — ML Kit Object Detection mit Frame-übergreifendem Tracking verwendet einen auf Optical Flow basierenden Tracker. Wenn ein Objekt erkannt wird, folgt der Tracker ihm ohne erneute Erkennung und spart so CPU/GPU. Wenn der Tracker das Objekt verliert (schnelle Bewegung, Verdeckung), startet ML Kit die Erkennung neu. Laut Google (2025) hält der Tracker das Objekt in 95% der Frames bei Geschwindigkeiten bis zu 30 km/h.

// Pose-Erkennung (menschliches Skelett)
val poseDetector = PoseDetection.getClient(
    PoseDetectorOptions.Builder()
        .setDetectorMode(PoseDetectorOptions.STREAM_MODE)
        .build()
)

poseDetector.process(inputImage)
    .addOnSuccessListener { pose ->
        pose.allPoseLandmarks.forEach { landmark ->
            val type = landmark.landmarkType // LINKER_SCHULTER, RECHTER_ELLBOGEN...
            val position = landmark.position3D
        }
    }

Selfie Segmentation — API zum Segmentieren einer Person aus dem Bild (Trennung von Person und Hintergrund). Gibt eine Konfidenzmaske für jedes Pixel zurück. Selfie Segmentation wird zum Weichzeichnen oder Ersetzen von Hintergründen in Videoanrufen, Fotobearbeitungsprogrammen und AR-Anwendungen verwendet. Die Maske wird als UInt8Array in der Größe des Originalbilds zurückgegeben — jedes Pixel enthält einen Wert von 0.0 (Hintergrund) bis 1.0 (Person).

Benutzerdefinierte TFLite-Modelle in ML Kit

Custom Model API — die Möglichkeit, eigene TensorFlow Lite-Modelle über die ML Kit-Schnittstelle zu laden und auszuführen. ML Kit bietet eine einheitliche Input/Output-API: ByteBuffer als Eingabe, FloatArray/TensorImage als Ausgabe. Dies ermöglicht die Nutzung der ML Kit-Vorteile (Modellverwaltung, Bildverarbeitung, CameraX-Integration) mit benutzerdefinierten Modellen für Gesichtserkennung, Objektklassifikation, NLP und mehr.

Laden eines Modells — legen Sie die .tflite-Datei in assets/ (Android) oder bundle (iOS) ab und laden Sie sie über CustomModelDownloadConditions oder Firebase Model Manager. Verwenden Sie für das Herunterladen großer Modelle (5+ MB) Download-Bedingungen: Wi-Fi, geladen, im Hintergrund. Google empfiehlt, das Modell beim ersten App-Start herunterzuladen, nicht im Moment der ersten Verwendung.

// Benutzerdefiniertes TFLite-Modell wird geladen
val conditions = CustomModelDownloadConditions.Builder()
    .requireWifi()
    .build()
val remoteModel = CustomRemoteModel.Builder("my_model")
    .setRemoteModelName("my_model_v2")
    .build()

remoteModel.download(conditions)
    .addOnSuccessListener { /* model ready */ }
    .addOnFailureListener {
        // Gebündeltes Modell aus Assets verwenden
    }

Optimierung benutzerdefinierter Modelle: Verwenden Sie TFLite Converter mit Delegate-Kompatibilität. Für maximale Leistung quantisieren Sie das Modell (INT8) — dies reduziert die Modellgröße um das 4-fache und beschleunigt die Inferenz um das 2–3-fache durch XNNPACK Delegate. ML Kit Custom Model API unterstützt Dynamic Shape (Batch = 1), Image Input (UInt8, Float32) und Tensor Output.