ML auf dem Gerät in der mobilen Entwicklung: was es ist, welche Frameworks und wie es funktioniert

Q: Wie unterscheidet sich Core ML von TensorFlow Lite?

Core ML ist Apples Framework für iOS und macOS mit Beschleunigung auf dem Neural Engine. TensorFlow Lite ist Googles plattformübergreifende Lösung für Android, iOS und Linux. Core ML bietet bessere Leistung auf Apple-Geräten, TFLite bietet Vielseitigkeit.

Q: Welche Aufgaben löst ML Kit?

ML Kit löst typische Computer-Vision- und NLP-Aufgaben: Text-, Gesichts-, Barcode-, Objekt- und Pose-Erkennung. Alle APIs funktionieren auf dem Gerät ohne Internet und erfordern kein eigenes Modell.

Q: Ist für On-Device-ML Internet erforderlich?

Nein, On-Device-ML funktioniert vollständig lokal. Modelle werden auf das Gerät geladen und ohne Internetverbindung ausgeführt. ML Kit bietet auch Cloud-basierte API-Versionen mit höherer Genauigkeit, aber der On-Device-Modus ist offline verfügbar.

Q: Welches Framework sollte ich für ML in der mobilen Entwicklung wählen?

Für reine iOS-Entwicklung wählen Sie Core ML — es nutzt den Neural Engine und ist eng in das Apple-Ökosystem integriert. Für plattformübergreifende Projekte wählen Sie TensorFlow Lite. Für typische Aufgaben ohne benutzerdefiniertes Modell wählen Sie ML Kit mit fertigen APIs.

Autor: IT Sectr Veröffentlicht: 2026-07-29 Lesezeit: 11 Min.

ML auf dem Gerät (on-device ML) — Ausführung von Machine-Learning-Modellen direkt auf dem mobilen Gerät, ohne Daten an einen Server zu senden. Laut einem Bericht von Google AI, 2025 bevorzugen über 70 % der Nutzer Apps mit On-Device-ML aufgrund von Datenschutz und fehlender Netzwerklatenz. Core ML von Apple, TensorFlow Lite von Google und ML Kit ermöglichen es, Vision-, NLP-, Gesichts- und Objekterkennungsaufgaben vollständig auf dem Gerät zu lösen — ohne Internet und mit minimalem Energieverbrauch.

Wichtige Punkte

ML auf dem Gerät — Ausführung von ML-Modellen direkt auf einem mobilen Gerät ohne serverseitige Datenverarbeitung.
Core ML — Apples Framework mit Hardwarebeschleunigung auf Neural Engine für iOS und macOS.
TensorFlow Lite — Googles plattformübergreifende Lösung mit Quantisierung und GPU-, NNAPI- und XNNPACK-Delegaten.
ML Kit — SDK mit fertigen APIs zur Text-, Gesichts-, Barcode- und Objekterkennung ohne Modellerstellung.
Vision und NaturalLanguage — integrierte ML-Tools auf iOS zur Bild- und Textanalyse.

Was ist ML auf dem Gerät und warum wird es in mobilen Apps benötigt

ML auf dem Gerät (On-Device-ML) ist ein Ansatz, bei dem Machine-Learning-Modelle direkt auf dem mobilen Gerät ausgeführt werden, ohne Daten an einen entfernten Server zu senden. Datenschutz ist der Hauptvorteil: Benutzerdaten verlassen niemals das Gerät. Laut einer Google-Studie (2024) lehnen 63 % der Nutzer ML-Funktionen ab, die das Senden von Daten an einen Server erfordern. On-Device-ML eliminiert Netzwerklatenz, funktioniert offline und reduziert den Energieverbrauch durch Hardwarebeschleunigung.

Vorteile von On-Device-ML gegenüber Cloud-Lösungen

On-Device-ML verarbeitet Daten in Millisekunden statt Sekunden — entscheidend für die Echtzeit-Gesichts- und Objekterkennung. Keine Internetverbindung erforderlich ist ein weiterer Vorteil: ML-Funktionen sind im Flugmodus und in Regionen mit instabiler Konnektivität verfügbar. Core ML nutzt den Neural Engine in Apple A12+-Chips und liefert 11 Billionen Operationen pro Sekunde bei einem Stromverbrauch von unter 1 W. Für mobile Apps ist On-Device-ML der De-facto-Standard für Vision-, NLP- und Objekterkennungsaufgaben geworden.

Hauptanwendungsfälle von On-Device-ML in mobilen Apps

ML in mobilen Apps wird verwendet für Gesichtsauthentifizierung (Face ID), AR-Filter in Snapchat und Instagram, Fitness-Tracker mit Pose Detection, OCR-Scanning in Adobe Scan und predictive Text eingabe in Tastaturen. Benutzerdefinierte Modelle für spezifische Aufgaben werden über Core ML (iOS) oder TensorFlow Lite (Android) erstellt. ML Kit eignet sich für typische Szenarien — Text-, Gesichts- und Barcodeerkennung ohne Training eines Modells.

Core ML: Apples Framework für On-Device-ML auf iOS

Core ML ist Apples Framework zum Ausführen von ML-Modellen auf iPhone, iPad, Mac und Apple Watch. Es wählt automatisch die optimale Hardwarebeschleunigung: Neural Engine für neuronale Netze auf Geräten mit A12+ (11 TOPS), GPU für Bildverarbeitungsaufgaben und CPU für sequentielle Berechnungen. Core ML unterstützt die Formate .mlmodel (Original) und .mlmodelc (kompiliert). Die Konvertierung von Modellen aus PyTorch und TensorFlow erfolgt über coremltools — eine Python-Bibliothek, die Topologie und Gewichte beibehält.

Create ML und coremltools

Create ML ist Apples App zum Trainieren einfacher Modelle ohne Code. Für die Produktion wird coremltools verwendet — ein Konvertierungstool für PyTorch, TensorFlow und scikit-learn. Coremltools unterstützt Quantisierung von float32 auf float16 und int8, Farbraum-Palettierung und Entfernung redundanter Operationen zur Reduzierung der Modellgröße.

python

import coremltools as ct

model = ct.convert(
    "resnet50.mlmodel",
    source="pytorch",
    convert_to="mlprogram"
)
model.save("Resnet50.mlpackage")

Neural Engine und Core ML Hardwarebeschleunigung

Der Neural Engine ist ein spezialisierter Neuroprozessor in Apple A12-Chips und neueren. 16 Kerne führen bis zu 11 Billionen Operationen pro Sekunde bei einem Stromverbrauch von unter 1 W aus. Core ML leitet neuronale Netzberechnungen automatisch an den Neural Engine und GPU-kompatible Berechnungen an Metal GPU weiter. Der Entwickler muss kein Gerät auswählen — Core ML erledigt dies über den Performance Report, der das Modell und die verfügbare Hardware analysiert.

TensorFlow Lite: Googles plattformübergreifendes On-Device-ML

TensorFlow Lite (TFLite) ist Googles plattformübergreifende Lösung zum Ausführen von ML-Modellen auf Android, iOS und Linux. Modelle haben das Format .tflite und werden über TFLiteConverter aus dem TensorFlow-Ökosystem erstellt. TFLite unterstützt Quantisierung von float32 auf int8, was die Modellgröße um das 4-fache reduziert, während 97–99 % Genauigkeit bei Klassifizierungsaufgaben erhalten bleiben. Google Play Services for TFLite aktualisiert die Laufzeitumgebung automatisch, ohne dass die App neu veröffentlicht werden muss.

TFLiteConverter und Modellquantisierung

TFLiteConverter ist das primäre Werkzeug zur Konvertierung von TensorFlow-Modellen in das .tflite-Format. Post-Training-int8-Quantisierung komprimiert ein Modell von 300 MB auf 75 MB ohne Zugriff auf den vollständigen Datensatz. Quantisierungsbewusstes Training (QAT) führt zu einem minimalen Genauigkeitsverlust — weniger als 1 % auf ImageNet. TFLiteConverter unterstützt auch Graph-Pruning und das Entfernen von Operationen, die von der TFLite-Laufzeitumgebung nicht unterstützt werden.

python

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model(
    "saved_model_dir"
)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()

TFLite-Delegaten: GPU, NNAPI und XNNPACK

Ohne Delegaten führt TFLite das Modell auf der CPU 3–5 Mal langsamer aus als mit Hardwarebeschleunigung. GPU Delegate verwendet OpenCL und OpenGL ES 3.1 auf Android, Core ML Delegate verwendet Neural Engine auf iOS. NNAPI Delegate nutzt NPU und DSP auf Android 8.1+. XNNPACK Delegate bietet plattformübergreifende Beschleunigung auf ARM CPU mit Optimierungen für mobile Prozessoren. Zur Auswahl eines Delegaten verwenden Sie TfLiteGpuDelegate.create() mit einer Nullprüfung des Ergebnisses.

ML Kit: fertige Lösungen für ML in der mobilen Entwicklung

ML Kit ist Googles SDK mit fertigen APIs für On-Device-ML. In mobilen Apps wird ML Kit verwendet für Texterkennung (50+ Sprachen, einschließlich Handschrift), Gesichtserkennung (468 Gesichtspunkte), Barcode-Scanning (QR, EAN-13, Code 128, PDF417, Data Matrix) und Objekterkennung. Alle APIs funktionieren vollständig auf dem Gerät ohne Internet. ML Kit ist auf iOS und Android mit einer einheitlichen API verfügbar.

Gesichtserkennung und Texterkennung in ML Kit

Die Gesichtserkennung liefert die Koordinaten der Gesichtskontur, Augenbrauen, Augen, Nase und Lippen sowie den Neigungswinkel des Kopfes und den Augenstatus. AR-Masken und Kamerafilter sind der beliebteste Anwendungsfall. Die Texterkennung extrahiert Text aus Fotos mit bis zu 99 % Genauigkeit bei gedruckten Zeichen. Die API unterstützt Echtzeiterkennung über CameraX.

kotlin

val recognizer = TextRecognition.getClient()
val image = InputImage.fromBitmap(bitmap)

recognizer.process(image)
    .addOnSuccessListener { result ->
        result.textBlocks.forEach { block ->
            println(block.text)
        }
    }

Barcode-Scanning und Objekterkennung in ML Kit

Barcode-Scanning erkennt Barcodes im Live-Videostream der Kamera in Echtzeit. Objekterkennung identifiziert Objekte in einem Bild mit Begrenzungsrahmen und Klassenlabel (Person, Auto, Tier). Die Pose-Erkennung bestimmt 33 Körperpunkte für Fitness-Apps und Bewegungsanalyse. Image Labeling liefert bis zu 10 semantische Bildlabels — „Natur“, „Stadt“, „Essen“.

Vision und NaturalLanguage: integrierte ML-Tools auf iOS und Android

Apple bietet integrierte ML-Lösungen über Vision und NaturalLanguage ohne Installation von Drittanbieter-SDKs. Vision (VNRequest) führt Gesichts-, Text-, Barcode- und Konturerkennung auf dem Gerät durch. NaturalLanguage (NLTokenizer) bietet Tokenisierung, Lemmatisierung, Sprachidentifikation und Sentimentanalyse. Auf Android werden Entsprechungen über ML Kit (Erkennung) und SpeechRecognizer aus android.speech (Sprache) implementiert. Integrierte Tools erfordern kein Herunterladen von Modellen — sie sind im System vorinstalliert.

Vision-Framework: VNRequest und VNCoreMLRequest

Vision umfasst VNDetectFaceRectanglesRequest (Gesichtserkennung), VNRecognizeTextRequest (Texterkennung), VNDetectBarcodesRequest (Barcodes) und VNDetectHumanBodyPoseRequest (Skelett). VNCoreMLRequest integriert ein benutzerdefiniertes Core ML-Modell in die Vision-Pipeline — beispielsweise Emotionsklassifikation auf erkannten Gesichtern. Alle Anfragen werden auf dem Neural Engine mit minimaler Latenz ausgeführt.

swift

let request = VNRecognizeTextRequest { request, error in
    guard let observations = request.results
        as? [VNRecognizedTextObservation] else { return }
    for observation in observations {
        let topCandidate = observation
            .topCandidates(1).first
        print(topCandidate?.string as? String ?? "")
    }
}

let handler = VNImageRequestHandler(
    cgImage: image, options: [:]
)
try? handler.perform([request])

NaturalLanguage und SFSpeechRecognizer auf iOS

NaturalLanguage bietet NLTokenizer zum Aufteilen von Text in Token, NLLanguageRecognizer zur Sprachidentifikation (72 Sprachen) und NLSentimentAnalyzer zur Text-Sentimentanalyse. SFSpeechRecognizer ist eine Spracherkennungs-API mit Unterstützung für 50+ Sprachen auf dem Gerät (iOS 13+). Erfordert die Berechtigung SFSpeechRecognizerAuthorizationStatus vor der Verwendung. Ergebnisse werden asynchron über SFSpeechRecognitionResultHandler geliefert.

Häufig gestellte Fragen

Was ist ML auf dem Gerät?

ML auf dem Gerät (On-Device-ML) ist ein Ansatz, bei dem Machine-Learning-Modelle direkt auf einem mobilen Gerät ausgeführt werden, ohne Daten an einen Server zu senden. Core ML, TensorFlow Lite und ML Kit sind die wichtigsten Frameworks für On-Device-ML.

Wie unterscheidet sich Core ML von TensorFlow Lite?

Core ML ist Apples Framework für iOS und macOS mit Beschleunigung auf dem Neural Engine. TensorFlow Lite ist Googles plattformübergreifende Lösung für Android, iOS und Linux. Core ML bietet bessere Leistung auf Apple-Geräten, TFLite bietet Vielseitigkeit.

Welche Aufgaben löst ML Kit?

ML Kit löst typische Computer-Vision- und NLP-Aufgaben: Text-, Gesichts-, Barcode-, Objekt- und Pose-Erkennung. Alle APIs funktionieren auf dem Gerät ohne Internet und erfordern kein eigenes Modell.

Ist für On-Device-ML Internet erforderlich?

Nein, On-Device-ML funktioniert vollständig lokal. Modelle werden auf das Gerät geladen und ohne Internetverbindung ausgeführt. ML Kit bietet auch Cloud-basierte API-Versionen mit höherer Genauigkeit, aber der On-Device-Modus ist offline verfügbar.

Welches Framework sollte ich für ML in der mobilen Entwicklung wählen?

Für reine iOS-Entwicklung wählen Sie Core ML — es nutzt den Neural Engine und ist eng in das Apple-Ökosystem integriert. Für plattformübergreifende Projekte wählen Sie TensorFlow Lite. Für typische Aufgaben ohne benutzerdefiniertes Modell wählen Sie ML Kit mit fertigen APIs.

Zusammenfassung

ML auf dem Gerät — Ausführung von Modellen direkt auf einem mobilen Gerät ohne Daten an einen Server, mit null Netzwerklatenz.
Core ML — Apples Framework mit Hardwarebeschleunigung auf Neural Engine für iOS und macOS.
TensorFlow Lite — Googles plattformübergreifende Lösung mit int8-Quantisierung und GPU-, NNAPI-, XNNPACK-Delegaten.
ML Kit — SDK mit fertigen APIs zur Text-, Gesichts- und Barcodeerkennung ohne Modellerstellung.
Vision und NaturalLanguage — integrierte ML-Tools auf iOS ohne Installation von Drittanbieter-Bibliotheken.
Quantisierung reduziert die Modellgröße um das 4-fache mit minimalem Genauigkeitsverlust — Standard für mobile Apps.
On-Device-ML ist ein obligatorischer Standard für Apps mit sensiblen Daten und Offline-Nutzungsszenarien.

Wir entwickeln eine mobile Applikation schlüsselfertig

IT Sectr entwickelt seit 2017 iOS- und Android-Apps für Startups und Unternehmen. Wir beraten Sie und schlagen die beste Lösung vor.

Projekt besprechen