TF Lite Interpreter — concepte cheie, interfață și rularea modelelor

Concepte cheie TF Lite Interpreter

TF Lite Interpreter este un runtime minimalist care execută un model de învățare automată pe dispozitiv fără infrastructură server. Interpreter nu suportă antrenarea — doar inferența. Acest lucru îl face ușor: dimensiunea binară a interpretorului de bază pe Android este de aproximativ 300 KB.

Interpreter lucrează cu modelul în format .tflite, bazat pe FlatBuffers. La creare, Interpreter încarcă modelul în memorie prin mmap, ceea ce asigură acces direct la date fără copiere. Apoi Interpreter alocă tensorii pe baza descrierii din model și este gata de execuție.

Fiecare instanță Interpreter nu este sigură pentru fire de execuție. Pentru executarea paralelă a unui model în mai multe fire, creați instanțe Interpreter separate cu copii ale modelului. Pentru apeluri secvențiale într-un singur fir, instanța Interpreter poate fi reutilizată.

API-ul interpretorului pe Android și iOS

Pe Android, Interpreter este disponibil prin Java API în pachetul org.tensorflow.lite.Interpreter. Metoda principală — run(Object input, Object output) — acceptă array-uri multidimensionale sau ByteBuffer. Pentru un control mai fin, utilizați metodele runForMultipleInputsOutputs() și resizeInput().

Pe iOS, Interpreter este disponibil prin Swift API în modulul TensorFlowLite. Interfața de bază este similară cu Android: inițializare prin Interpreter.init(modelPath:), alocarea tensorilor prin allocateTensors(), execuție prin invoke(). Swift API suportă Data și MLMultiTensor ca tipuri de date de intrare.

Comparația API pe platforme

Configurarea delegaților pentru accelerare hardware

Delegații sunt componente care transferă executarea operațiilor către echipamente specializate. GPU Delegate utilizează OpenGL ES (Android) și Metal (iOS) pentru accelerarea operațiilor grafice. NNAPI Delegate transferă execuția către NPU, DSP sau GPU prin Android Neural Networks API.

Core ML Delegate este disponibil pe iOS și traduce operațiile TFLite în format Core ML. Conform Apple ML Benchmarking, utilizarea Core ML Delegate pe iPhone 15 Pro accelerează inferența de până la 4x comparativ cu CPU. Delegatul suportă operații FP32 și FP16.

XNNPACK Delegate este o soluție universală pentru ARM CPU, optimizată pentru procesoare mobile. Nu necesită echipament special și suportă INT8, FP16 și FP32. Este recomandat ca delegat de bază care se activează pe toate dispozitivele.

Gestionarea memoriei și tensorilor

Interpreter gestionează tensorii printr-un pool de memorie care este alocat la apelul allocateTensors(). Dimensiunea pool-ului este determinată pe baza descrierii modelului din fișierul .tflite. După alocare, interpretorul nu alocă memorie suplimentară în timpul inferenței.

Pentru modelele cu dimensiuni dinamice ale intrărilor utilizați resizeInput(). Această metodă realocă memoria pentru tensorii de intrare ținând cont de noua dimensiune. După modificarea dimensiunii tensorului de intrare, poate fi necesară realocarea prin allocateTensors().

La lucrul cu mai multe modele este important să eliberați resursele prin close(). Interpretorii neliberați pot duce la scurgeri de memorie, în special pe dispozitive cu RAM limitată. Pentru iOS utilizați numărarea automată a referințelor ARC, pentru Android — try-with-resources sau apelul explicit close().

Gestionarea erorilor și depanare

Cele mai frecvente erori la lucrul cu Interpreter — nepotrivirea dimensiunilor tensorilor. Dacă datele de intrare nu corespund formei așteptate, Interpreter aruncă IllegalArgumentException pe Android sau runtime error pe iOS. Verificați dimensiunile prin inputTensorAt() și outputTensorAt().

A doua problemă comună — operatori nesuportați la utilizarea delegatului. Dacă delegatul nu suportă un operator, Interpreter revine automat la CPU pentru acel operator. Pentru a identifica astfel de situații, activați logarea prin setCancelled() sau verificați logurile TFLite.

TFLite oferă Benchmark Tool pentru profilare: măsurarea timpului fiecărui operator, consumul de memorie, compararea delegaților. Benchmark Tool este disponibil ca parte a TFLite Support Library și poate fi rulat direct pe dispozitiv.

Exemple de inferență prin Interpreter

Exemplu de execuție a modelului pe Android cu Java API utilizând GPU Delegate. Interpreter este creat cu opțiuni care includ delegatul GPU. După executarea inferenței, rezultatul este citit din tensorul de ieșire:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;
import java.nio.MappedByteBuffer;

MappedByteBuffer model = loadModelFile(context);
GpuDelegate gpu = new GpuDelegate();
Interpreter.Options opts = new Interpreter.Options().addDelegate(gpu);
Interpreter interpreter = new Interpreter.create(model, opts);

float[][] input = preprocessImage(bitmap);
float[][] output = new float[1][1000];
interpreter.run(input, output);

int bestClass = argmax(output[0]);
Log.d("TFLite", "Clasa de top: " + bestClass);

gpu.close();
interpreter.close();

Exemplu de execuție pe Python pentru testare înainte de implementare. Python API TFLite permite încărcarea .tflite, executarea inferenței și afișarea rezultatului. Este utilizat pentru depanare și verificarea acurateții modelului:

import tensorflow as tf
import numpy as np

# Încărcați modelul TFLite din fișier
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()

# Obțineți detaliile tensorilor de intrare și ieșire
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# Pregătiți date aleatoare de intrare pentru testare
input_data = np.random.randn(
    *input_details[0]["shape"]
).astype(np.float32)

interpreter.set_tensor(input_details[0]["index"], input_data)
interpreter.invoke()

output_data = interpreter.get_tensor(output_details[0]["index"])
print("Forma ieșirii:", output_data.shape)