TensorFlow Lite — cos’è, caratteristiche principali e applicazioni

Cos’è TensorFlow Lite

TensorFlow Lite è un runtime specializzato per eseguire modelli di machine learning su dispositivi con risorse limitate. A differenza di TensorFlow completo, TFLite non supporta l’addestramento o la retropropagazione — solo inferenza. Ciò consente di mantenere la dimensione binaria della libreria al minimo: circa 300 KB per l’interprete di base su Android.

L’architettura di TFLite è costruita attorno al formato .tflite, basato su FlatBuffers. FlatBuffers fornisce accesso diretto ai dati senza fase di parsing, aspetto critico per i dispositivi mobili con memoria limitata. Un modello in formato .tflite contiene il grafo di calcolo, i pesi e i metadati in un unico file binario.

Secondo Google I/O 2024, TFLite è utilizzato in Google Photos, Gboard, YouTube e altre applicazioni Google con un pubblico combinato di oltre 4 miliardi di dispositivi. Il framework supporta tutte le principali architetture: CNN, RNN, LSTM, Transformer e operazioni personalizzate tramite delegati.

Architettura di TensorFlow Lite

Il runtime TFLite è composto da quattro componenti. TFLite Converter prende un modello da TensorFlow (SavedModel, Keras, ConcreteFunction) e lo converte nel formato .tflite con ottimizzazione facoltativa. TFLite Interpreter carica il file .tflite ed esegue l’inferenza, gestendo tensori e memoria.

I delegati sono componenti che trasferiscono l’esecuzione delle operazioni su hardware specializzato. GPU Delegate utilizza OpenGL ES e Metal, NNAPI Delegate utilizza l’API Android Neural Networks, Core ML Delegate utilizza Apple Core ML. XNNPACK Delegate ottimizza l’esecuzione su CPU ARM. Ogni delegato supporta un insieme specifico di operatori.

Il quarto componente è la Task Library, che fornisce API di alto livello per attività tipiche: classificazione di immagini, rilevamento oggetti, segmentazione, NLU. La Task Library opera sopra l’Interprete e nasconde i dettagli della gestione dei tensori.

Ottimizzazione dei modelli e quantizzazione

TFLite supporta tre livelli di quantizzazione. La quantizzazione intera completa INT8 converte pesi e attivazioni da FP32 a interi a 8 bit. La dimensione del modello viene ridotta di 4x e la velocità di inferenza su dispositivi con supporto INT8 aumenta fino a 3x. La quantizzazione FP16 dimezza la dimensione con una perdita di precisione minima.

La quantizzazione dinamica mantiene i pesi in INT8 ma esegue i calcoli in FP32. Questa modalità è adatta per modelli sensibili alla precisione e offre una riduzione delle dimensioni fino a 4x mantenendo la qualità. Secondo i Google ML Performance Benchmarks, la quantizzazione dinamica è raccomandata per i modelli NLP.

Confronto delle modalità di quantizzazione TFLite

Accelerazione hardware su Android e iOS

Su Android, il principale meccanismo di accelerazione è il delegato NNAPI, che trasferisce l’esecuzione delle operazioni a NPU, DSP o GPU tramite l’API Android Neural Networks. NNAPI è disponibile su dispositivi con Android 8.1+ e supporta calcoli INT8 e FP16. Il delegato GPU per Android utilizza OpenGL ES 3.1+ e Vulkan.

Su iOS, l’accelerazione viene fornita tramite il delegato Core ML, che traduce le operazioni TFLite nel formato Core ML e le esegue su Apple Neural Engine. Secondo i benchmark Apple ML, l’utilizzo del delegato Core ML accelera l’inferenza su iPhone 15 Pro fino a 4x rispetto alla CPU. Il delegato GPU per iOS utilizza Metal Performance Shaders.

XNNPACK Delegate è una soluzione multipiattaforma per CPU ARM, ottimizzata per processori mobili. XNNPACK supporta operazioni FP32, FP16 e INT8 e non richiede hardware speciale. È raccomandato come delegato di base per tutti i dispositivi.

Distribuzione di modelli con TFLite

Il processo di distribuzione comprende tre fasi. Prima — conversione del modello in .tflite tramite TFLite Converter. Seconda — inclusione del file .tflite nelle risorse dell’applicazione. Per Android, il file viene inserito in assets; per iOS, nel bundle dell’app tramite Xcode. Terza — inizializzazione dell’Interprete ed esecuzione dell’inferenza.

Per aggiornamenti dinamici dei modelli, Google raccomanda l’utilizzo di Firebase ML Model Downloading o un meccanismo di download personalizzato dal cloud. Il file .tflite aggiornato viene salvato nell’archivio locale e caricato nell’Interprete all’avvio successivo.

Durante la distribuzione, è importante considerare la dimensione del file .tflite. Google Play limita la dimensione dell’APK a 200 MB. Per modelli superiori a 50 MB, si consiglia di utilizzare Android App Bundle o scaricare il modello separatamente tramite Play Asset Delivery.

Esempi di utilizzo di TFLite nel codice

Esempio di caricamento ed esecuzione di un modello su Android con API Java. Utilizzare Interpreter.create() per caricare .tflite da assets e run() per l’inferenza. I dati di input e output vengono passati come array multidimensionali o ByteBuffer:

import org.tensorflow.lite.Interpreter;
import java.nio.MappedByteBuffer;
import java.io.FileInputStream;
import java.nio.channels.FileChannel;

MappedByteBuffer model = new FileInputStream(
    getAssets().openFd("model.tflite")
).getChannel().map(
    FileChannel.MapMode.READ_ONLY, 0, fc.size()
);

Interpreter interpreter = new Interpreter.create(model);
float[][] input = new float[1][224 * 224 * 3];
float[][] output = new float[1][1000];
interpreter.run(input, output);
interpreter.close();

Esempio di utilizzo del delegato GPU su Android per l’accelerazione hardware. Aggiungere la dipendenza com.android.support:tensorflow-lite-gpu e specificare il delegato durante la creazione dell’Interprete:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;

GpuDelegate gpuDelegate = new GpuDelegate.create();
Interpreter.Options options = new Interpreter.Options().addDelegate(gpuDelegate);
Interpreter interpreter = new Interpreter.create(model, options);

// Run inference on the input data
interpreter.run(input, output);

// Release delegate resources after inference
gpuDelegate.close();
interpreter.close();