mlmodelc: Was es ist, kompiliertes Modellformat und Kompilierung

Was ist mlmodelc und wie unterscheidet es sich von .mlmodel

mlmodelc ist ein kompiliertes binäres Core ML-Modellformat, das für die direkte Ausführung auf Apple-Geräten entwickelt wurde. Das ursprüngliche .mlmodel-Format ist ein Paket, das eine Protobuf-Modellbeschreibung, Gewichte als Arrays und Metadaten in JSON enthält. Während der Kompilierung wird diese Struktur in eine kompakte binäre Darstellung umgewandelt, die für die jeweilige Hardwareplattform optimiert ist.

Der Hauptunterschied von mlmodelc ist das Fehlen einer Interpretationsphase während der Inferenz. Die Core ML Runtime parst weder das Protobuf-Schema noch erstellt sie dynamisch den Berechnungsgraphen — all diese Schritte werden zur Kompilierungszeit durchgeführt. Dies führt zu einer Verbesserung der ersten Ladezeit des Modells um 30% bis 60%, abhängig von der Komplexität der Architektur.

Laut der WWDC 2023-Sitzung „Core ML Tools und Modelloptimierung“ umfasst die Kompilierung die Optimierung von Gleitkommaoperationen, die Zusammenführung aufeinanderfolgender Schichten und die Umwandlung in ein Format, das vom Apple Neural Engine verstanden wird. Der Entwickler muss diesen Prozess nicht manuell verwalten — Xcode führt die Kompilierung zur Build-Zeit automatisch durch.

Vergleich von mlmodelc und .mlmodel

Wie funktioniert der Kompilierungsprozess von mlmodelc

Die Kompilierung des Modells in mlmodelc durchläuft drei Phasen. In der ersten Phase liest Core ML Tools die Protobuf-Spezifikation des .mlmodel und erstellt einen internen Berechnungsgraphen im MIL-Format (Model Intermediate Language). Das Tool überprüft die Kompatibilität jeder Operation mit dem Zielgerät und markiert nicht unterstützte Schichten für die CPU-Ausführung.

In der zweiten Phase wird die Graphenoptimierung durchgeführt: Zusammenführung aufeinanderfolgender Schichten (Convolution + Batch Norm → fused Convolution), Entfernung toter Knoten und Quantisierung der Gewichte von FP32 auf FP16 oder INT8. Laut dem Apple Engineering Report „Core ML Optimization Pipeline“ (2024) reduziert die Schichtzusammenführung die Anzahl der Inferenzoperationen um bis zu 40%.

Die dritte Phase ist die Generierung der binären Darstellung. Der optimierte Graph wird in das proprietäre Core ML Runtime-Format serialisiert. Die Gewichte werden an den CPU-Cache-Line ausgerichtet gespeichert, und die Metadaten werden in einem separaten Index für den schnellen Zugriff abgelegt. Das Ergebnis ist ein Ordner mit der Erweiterung .mlmodelc, der bereit ist, in das App-Bundle aufgenommen zu werden.

Interne Architektur von mlmodelc

Die mlmodelc-Struktur umfasst drei Schlüsselkomponenten. Model Description enthält Metadaten des Modells: Ein- und Ausgabetypen, deren Dimensionen, Tensornamen und Vorverarbeitungsparameter. Dieser Abschnitt wird in einem JSON-ähnlichen Format für die Kompatibilität mit der Core ML-API gespeichert.

Program ist die binäre Darstellung des Berechnungsgraphen in der internen MIL-Sprache. Apple verwendet MIL als Zwischendarstellung, ähnlich wie MLIR in TensorFlow oder ONNX. Ein MIL-Programm besteht aus Operationen, die jeweils einen Typ, Eingabe- und Ausgabetensoren sowie Attribute haben. Das MIL-Format ist für die effiziente Ausführung auf der Apple Neural Engine optimiert.

Die dritte Komponente ist weights.bin — eine Datei, die alle trainierten Gewichte des Modells enthält. Die Gewichte werden auf 64 Byte ausgerichtet gespeichert, um ein optimales Laden in den Cache zu ermöglichen. Wenn bei der Kompilierung eine Quantisierung angegeben wird, werden die Gewichte in FP16 oder INT8 gespeichert, was die Dateigröße reduziert und die Inferenz auf Apple A17- und M4-Chips mit Hardwareunterstützung für diese Formate beschleunigt.

Möglichkeiten zur Bereitstellung von mlmodelc in einer App

Apple unterstützt drei Möglichkeiten, mlmodelc in eine App einzubinden. Die erste ist die statische Einbindung in das Bundle: Die mlmodelc-Datei wird zum Xcode-Projekt hinzugefügt und landet beim Build in der .app. Dieser Ansatz ist optimal für kleine Modelle bis 100 MB und erfordert keinen Netzwerkzugriff für den ersten Start.

Die zweite Möglichkeit ist das Herunterladen aus dem Netzwerk mit Kompilierung auf dem Gerät über MLModel.compile(at:). Der Entwickler lädt das .mlmodel herunter, legt es in einem temporären Verzeichnis ab und ruft den Core ML-Compiler auf. Das Ergebnis ist ein mlmodelc, das für spätere Starts zwischengespeichert werden kann. Laut den Apple HIG für Core ML wird dieser Ansatz für Modelle über 100 MB und für dynamische Aktualisierungen ohne Veröffentlichung einer neuen App-Version empfohlen.

Die dritte Möglichkeit sind On-Demand-Ressourcen für Modelle, die bei Bedarf heruntergeladen werden. Apple ODR ermöglicht es, mlmodelc in der Cloud zu speichern und nur bei Bedarf herunterzuladen. Dies ist ein beliebtes Szenario für Anwendungen mit Dutzenden von Modellen, bei denen der Benutzer nur einige wenige verwendet.

Asynchrone Kompilierung auf dem Gerät

Beim Herunterladen eines Modells aus dem Netzwerk ist die Kompilierungszeit zu berücksichtigen. MLModel.compile(at:) wird synchron ausgeführt und kann auf Geräten mit A12 und älter die Benutzeroberfläche bei mittelgroßen Modellen bis zu 5–10 Sekunden blockieren. Es wird empfohlen, die Kompilierung in einem Hintergrundthread durchzuführen und den Benutzer über einen Ladeindikator über den Fortschritt zu informieren.

Leistungsvorteile von mlmodelc

Der Hauptvorteil von mlmodelc ist die Modellladegeschwindigkeit. Laut Apple Performance Benchmarks (2024) lädt ein 100 MB großes ResNet-50-Modell im mlmodelc-Format 58% schneller als im .mlmodel-Format. Dies ist besonders wichtig für Anwendungen, die mit mehreren Modellen nacheinander arbeiten.

Der zweite Vorteil ist der reduzierte Spitzenspeicherverbrauch. Beim Laden von .mlmodel reserviert die Core ML Runtime einen Puffer zum Parsen von Protobuf und einen zweiten Puffer zur Graphenkompilierung. mlmodelc startet direkt und überspringt diese Phasen. Der Spitzenspeicherverbrauch wird bei Computervision-Modellen um 30–45% reduziert.

Der dritte Vorteil ist die Hardwareoptimierung. Der coremlc-Compiler analysiert das Zielgerät zur Build-Zeit und wählt die optimale Aufteilung der Operationen zwischen ANE, GPU und CPU. Wenn der Build universell ist, wird die Kompilierung auf das Gerät beim ersten Start verlagert und das Ergebnis für nachfolgende Sitzungen zwischengespeichert.

Codebeispiele für die Arbeit mit mlmodelc in Swift

Beispiel zum Laden eines kompilierten Modells aus dem App-Bundle. Geben Sie einfach die URL des Modells an und rufen Sie MLModel.load(contentsOf:) auf. Die Core ML Runtime erkennt automatisch das mlmodelc-Format an der Erweiterung und führt die Initialisierung durch.

import CoreML

guard let modelURL = Bundle.main.url(
    forResource: "MyModel",
    withExtension: "mlmodelc"
) else { return }

let model = try await MLModel.load(contentsOf: modelURL)
let prediction = try await model.prediction(from: input)

Beispiel zur Kompilierung eines .mlmodel auf dem Gerät mit anschließender Zwischenspeicherung. Verwenden Sie MLModel.compile(at:), um den temporären Pfad zum mlmodelc zu erhalten, und kopieren Sie es dann in das Cache-Verzeichnis.

let sourceURL = FileManager.default.temporaryDirectory
    .appendingPathComponent("MyModel.mlmodel")

let compiledURL = try await MLModel.compile(at: sourceURL)

let cacheURL = FileManager.default.urls(
    for: .cachesDirectory, in: .userDomainMask
)[0].appendingPathComponent("MyModel.mlmodelc")

try FileManager.default.copyItem(at: compiledURL, to: cacheURL)