TF Lite Interpreter — βασικές έννοιες, διεπαφή και εκτέλεση μοντέλων

Βασικές έννοιες του TF Lite Interpreter

TF Lite Interpreter είναι ένα μινιμαλιστικό περιβάλλον εκτέλεσης που εκτελεί ένα μοντέλο μηχανικής μάθησης στη συσκευή χωρίς υποδομή διακομιστή. Ο Interpreter δεν υποστηρίζει εκπαίδευση — μόνο εξαγωγή συμπερασμάτων. Αυτό τον καθιστά ελαφρύ: το δυαδικό μέγεθος του βασικού διερμηνέα σε Android είναι περίπου 300 KB.

Ο Interpreter λειτουργεί με το μοντέλο σε μορφή .tflite, που βασίζεται στα FlatBuffers. Κατά τη δημιουργία, ο Interpreter φορτώνει το μοντέλο στη μνήμη μέσω mmap, το οποίο παρέχει άμεση πρόσβαση στα δεδομένα χωρίς αντιγραφή. Στη συνέχεια, ο Interpreter εκχωρεί τανυστές βάσει της περιγραφής από το μοντέλο και είναι έτοιμος για εκτέλεση.

Κάθε στιγμιότυπο Interpreter δεν είναι ασφαλές για νήματα. Για παράλληλη εκτέλεση ενός μοντέλου σε πολλαπλά νήματα, δημιουργήστε ξεχωριστά στιγμιότυπα Interpreter με αντίγραφα του μοντέλου. Για διαδοχικές κλήσεις σε ένα νήμα, το στιγμιότυπο Interpreter μπορεί να επαναχρησιμοποιηθεί.

API διερμηνέα σε Android και iOS

Σε Android, ο Interpreter είναι διαθέσιμος μέσω Java API στο πακέτο org.tensorflow.lite.Interpreter. Η κύρια μέθοδος — run(Object input, Object output) — δέχεται πολυδιάστατους πίνακες ή ByteBuffer. Για πιο λεπτομερή έλεγχο, χρησιμοποιήστε τις μεθόδους runForMultipleInputsOutputs() και resizeInput().

Σε iOS, ο Interpreter είναι διαθέσιμος μέσω Swift API στην ενότητα TensorFlowLite. Η βασική διεπαφή είναι ανάλογη με το Android: αρχικοποίηση μέσω Interpreter.init(modelPath:), εκχώρηση τανυστών μέσω allocateTensors(), εκτέλεση μέσω invoke(). Το Swift API υποστηρίζει Data και MLMultiTensor ως τύπους δεδομένων εισόδου.

Σύγκριση API ανά πλατφόρμα

Διαμόρφωση εκπροσώπων για επιτάχυνση υλικού

Οι εκπρόσωποι είναι συστατικά που μεταφέρουν την εκτέλεση λειτουργιών σε εξειδικευμένο υλικό. Ο GPU Delegate χρησιμοποιεί OpenGL ES (Android) και Metal (iOS) για επιτάχυνση γραφικών λειτουργιών. Ο NNAPI Delegate μεταφέρει την εκτέλεση σε NPU, DSP ή GPU μέσω του Android Neural Networks API.

Core ML Delegate είναι διαθέσιμος σε iOS και μεταφράζει λειτουργίες TFLite σε μορφή Core ML. Σύμφωνα με το Apple ML Benchmarking, η χρήση του Core ML Delegate σε iPhone 15 Pro επιταχύνει την εξαγωγή συμπερασμάτων έως 4x σε σύγκριση με CPU. Ο εκπρόσωπος υποστηρίζει λειτουργίες FP32 και FP16.

Ο XNNPACK Delegate είναι μια καθολική λύση για ARM CPU, βελτιστοποιημένος για κινητούς επεξεργαστές. Δεν απαιτεί ειδικό υλικό και υποστηρίζει INT8, FP16 και FP32. Συνιστάται ως βασικός εκπρόσωπος που ενεργοποιείται σε όλες τις συσκευές.

Διαχείριση μνήμης και τανυστών

Ο Interpreter διαχειρίζεται τανυστές μέσω μιας δεξαμενής μνήμης που εκχωρείται κατά την κλήση allocateTensors(). Το μέγεθος της δεξαμενής καθορίζεται βάσει της περιγραφής του μοντέλου στο αρχείο .tflite. Μετά την εκχώρηση, ο διερμηνέας δεν εκχωρεί πρόσθετη μνήμη κατά την εξαγωγή συμπερασμάτων.

Για μοντέλα με δυναμικά μεγέθη εισόδου χρησιμοποιήστε το resizeInput(). Αυτή η μέθοδος ανακατανέμει τη μνήμη για τους τανυστές εισόδου λαμβάνοντας υπόψη το νέο μέγεθος. Μετά την αλλαγή του μεγέθους του τανυστή εισόδου, μπορεί να απαιτηθεί εκ νέου εκχώρηση μέσω allocateTensors().

Κατά την εργασία με πολλαπλά μοντέλα, είναι σημαντικό να απελευθερώνετε πόρους μέσω close(). Οι μη απελευθερωμένοι Interpreter μπορεί να οδηγήσουν σε διαρροή μνήμης, ειδικά σε συσκευές με περιορισμένη RAM. Για iOS χρησιμοποιήστε αυτόματη μέτρηση αναφορών ARC, για Android — try-with-resources ή ρητή κλήση close().

Διαχείριση σφαλμάτων και εντοπισμός σφαλμάτων

Τα πιο συνηθισμένα σφάλματα κατά την εργασία με Interpreter — αναντιστοιχία διαστάσεων τανυστών. Εάν τα δεδομένα εισόδου δεν αντιστοιχούν στο αναμενόμενο σχήμα, ο Interpreter εκτοξεύει IllegalArgumentException σε Android ή σφάλμα χρόνου εκτέλεσης σε iOS. Ελέγξτε τις διαστάσεις μέσω inputTensorAt() και outputTensorAt().

Το δεύτερο συνηθισμένο πρόβλημα — μη υποστηριζόμενοι τελεστές κατά τη χρήση εκπροσώπου. Εάν ο εκπρόσωπος δεν υποστηρίζει έναν τελεστή, ο Interpreter επιστρέφει αυτόματα σε CPU για αυτόν τον τελεστή. Για τον εντοπισμό τέτοιων καταστάσεων, ενεργοποιήστε την καταγραφή μέσω setCancelled() ή ελέγξτε τα αρχεία καταγραφής TFLite.

Το TFLite παρέχει Benchmark Tool για προφίλ: μέτρηση χρόνου κάθε τελεστή, κατανάλωση μνήμης, σύγκριση εκπροσώπων. Το Benchmark Tool είναι διαθέσιμο ως μέρος του TFLite Support Library και μπορεί να εκτελεστεί απευθείας στη συσκευή.

Παραδείγματα εξαγωγής συμπερασμάτων μέσω Interpreter

Παράδειγμα εκτέλεσης μοντέλου σε Android με Java API χρησιμοποιώντας GPU Delegate. Ο Interpreter δημιουργείται με επιλογές που περιλαμβάνουν τον εκπρόσωπο GPU. Μετά την εκτέλεση της εξαγωγής συμπερασμάτων, το αποτέλεσμα διαβάζεται από τον τανυστή εξόδου:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;
import java.nio.MappedByteBuffer;

MappedByteBuffer model = loadModelFile(context);
GpuDelegate gpu = new GpuDelegate();
Interpreter.Options opts = new Interpreter.Options().addDelegate(gpu);
Interpreter interpreter = new Interpreter.create(model, opts);

float[][] input = preprocessImage(bitmap);
float[][] output = new float[1][1000];
interpreter.run(input, output);

int bestClass = argmax(output[0]);
Log.d("TFLite", "Κορυφαία κλάση: " + bestClass);

gpu.close();
interpreter.close();

Παράδειγμα εκτέλεσης σε Python για δοκιμή πριν από την ανάπτυξη. Το Python API TFLite επιτρέπει τη φόρτωση .tflite, την εκτέλεση εξαγωγής συμπερασμάτων και την εμφάνιση του αποτελέσματος. Χρησιμοποιείται για εντοπισμό σφαλμάτων και έλεγχο ακρίβειας του μοντέλου:

import tensorflow as tf
import numpy as np

# Φόρτωση μοντέλου TFLite από αρχείο
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()

# Λήψη λεπτομερειών τανυστή εισόδου και εξόδου
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# Προετοιμασία τυχαίων δεδομένων εισόδου για δοκιμή
input_data = np.random.randn(
    *input_details[0]["shape"]
).astype(np.float32)

interpreter.set_tensor(input_details[0]["index"], input_data)
interpreter.invoke()

output_data = interpreter.get_tensor(output_details[0]["index"])
print("Σχήμα εξόδου:", output_data.shape)