mlmodel — ce este, structura fișierului și conversia în mlpackage

Ce este mlmodel?

mlmodel — este un format de fișier binar prezentat de Apple în 2017 împreună cu framework-ul Core ML la WWDC 2017. Formatul se bazează pe tehnologia de serializare protobuf (Protocol Buffers) de la Google.

Istoria formatului

Formatul .mlmodel a fost singurul format Core ML din 2017 până în 2021. În acest timp, milioane de modele din TensorFlow, Keras, PyTorch, Caffe, scikit-learn și alte biblioteci au fost convertite prin coremltools.

Caracteristici principale

Fișierul mlmodel stochează modelul într-o reprezentare binară compactă. Dimensiunea variază de la zeci de kiloocteți la gigaocteți. Formatul suportă toate tipurile de modele Core ML: NeuralNetwork, NeuralNetworkClassifier, NeuralNetworkRegressor, TreeEnsemble, GradientBoosting, LinearRegression, SVM și pipeline-uri de pre/postprocesare.

Structura fișierului mlmodel

Structura internă a fișierului .mlmodel este definită de schema protobuf din CoreML.framework. Secțiuni principale: modelDescription, modelParameters, preprocessing, postprocessing.

Secțiunea modelDescription

Secțiunea modelDescription (MLModelDescription) conține numele modelului, autorul, versiunea, descrierea, licența și descrierea detaliată a tuturor parametrilor de intrare/ieșire.

Secțiunea modelParameters

Secțiunea modelParameters conține greutățile și parametrii efectivi ai modelului antrenat. Pentru rețele neuronale, acesta este un array de NeuralNetworkLayer.

Secțiunea preprocessing

Secțiunea preprocessing descrie pașii de preprocesare a datelor de intrare: Scaler, ImagePreprocessing, OneHotEncoder, FeatureVectorizer.

mlmodel vs mlpackage: analiză comparativă

mlpackage — este formatul de nouă generație pentru modelele Core ML, prezentat la WWDC 2021. .mlpackage este un director (pachet) cu structură de fișiere: conținutul modelului este stocat ca fișiere JSON lizibile și fișiere binare separate pentru greutăți.

Structura fișierelor mlpackage

Pachetul .mlpackage conține: ModelCI/, Data/ (SharedWeights.bin), Metadata.json, Model.json, Manifests/.

Cum să convertim mlmodel în mlpackage

Conversia .mlmodel în .mlpackage se realizează în două moduri: automat la compilare în Xcode sau manual prin coremltools în Python.

import coremltools as ct

model = ct.models.MLModel(
    "OldModel.mlmodel"
)
model.author = "IT Sectr"
model.short_description = "Converted from mlmodel"
model.version = "2.0"
model.save("NewModel.mlpackage")

Conversia automată în Xcode

La adăugarea fișierului .mlmodel în proiectul Xcode, sistemul rulează automat Model Compiler la compilare.

Verificarea după conversie

coremltools oferă utilitarul ct.utils.compare_models() pentru compararea predicțiilor. Diferența admisibilă pentru Float32 este de maximum 1e-5.

Compatibilitate inversă și suport

Compatibilitatea inversă .mlmodel este asigurată pe toate versiunile actuale de iOS și macOS.

Suportul în iOS 18+ și macOS 15+

Începând cu iOS 18, Core ML nu mai suportă încărcarea directă a .mlmodel.

Termenele de încetare a suportului

Suportul complet pentru .mlmodel se așteaptă să se încheie în iOS 20-21 (2026-2027).

Când mai este actual mlmodel

.mlmodel încă apare în proiectele existente și unele scenarii.

Proiecte vechi

Proiectele începute înainte de 2021 pot conține zeci de modele .mlmodel.

Pipeline-uri CI/CD cu coremltools

Pipeline-urile CI/CD care folosesc coremltools 4.x exportă implicit în .mlmodel.

Biblioteci și Pod-uri

Bibliotecile terțe publicate înainte de 2021 pot conține modele în format .mlmodel.

Probleme tipice cu mlmodel

Lucrul cu formatul depreciat .mlmodel prezintă câteva probleme tipice.

Avertismentul Xcode privind deprecierea

La adăugarea .mlmodel în Xcode 13+ apare avertismentul: „'mlmodel' format is deprecated. Use 'mlpackage' instead.”

Eroarea „Model file is not valid”

Fișierele .mlmodel create cu versiuni vechi de coremltools pot să nu se deschidă pe iOS 16+.

Probleme cu straturile personalizate

Modelele .mlmodel care conțin custom layers nu pot fi convertite direct.