TF Lite Interpreter — alapfogalmak, interfész és modellek futtatása

A TF Lite Interpreter alapfogalmai

TF Lite Interpreter egy minimalista futásidejű környezet, amely gépi tanulási modellt futtat az eszközön szerverinfrastruktúra nélkül. Az Interpreter nem támogatja a tanítást — csak inferenciát. Ez könnyűvé teszi: az alap interpreter bináris mérete Androidon körülbelül 300 KB.

Az Interpreter a .tflite formátumú modellel dolgozik, amely a FlatBuffers-en alapul. Létrehozáskor az Interpreter mmap segítségével betölti a modellt a memóriába, ami közvetlen hozzáférést biztosít az adatokhoz másolás nélkül. Ezután az Interpreter allokálja a tenzorokat a modell leírása alapján, és készen áll a végrehajtásra.

Minden Interpreter példány nem szálbiztos. Egy modell párhuzamos végrehajtásához több szálon hozzon létre külön Interpreter példányokat a modell másolataival. Egymást követő hívásokhoz egy szálon az Interpreter példány újra felhasználható.

Interpreter API Android és iOS rendszereken

Androidon az Interpreter Java API segítségével érhető el az org.tensorflow.lite.Interpreter csomagban. A fő metódus — run(Object input, Object output) — többdimenziós tömböket vagy ByteBuffer-t fogad. Finomabb vezérléshez használja a runForMultipleInputsOutputs() és resizeInput() metódusokat.

iOS-en az Interpreter Swift API segítségével érhető el a TensorFlowLite modulban. Az alap interfész hasonló az Androidhoz: inicializálás Interpreter.init(modelPath:), tenzorok allokálása allocateTensors(), végrehajtás invoke(). A Swift API támogatja a Data és MLMultiTensor típusokat bemeneti adattípusokként.

API összehasonlítása platformonként

Delegate-ok konfigurálása hardveres gyorsításhoz

A delegate-ok olyan összetevők, amelyek átviszik a műveletek végrehajtását speciális hardverre. A GPU Delegate OpenGL ES (Android) és Metal (iOS) használ a grafikus műveletek gyorsításához. Az NNAPI Delegate az Android Neural Networks API-n keresztül NPU-ra, DSP-re vagy GPU-ra viszi át a végrehajtást.

Core ML Delegate iOS-en érhető el, és a TFLite műveleteket Core ML formátumba fordítja. Az Apple ML Benchmarking szerint a Core ML Delegate használata iPhone 15 Pro-n akár 4x-re gyorsítja az inferenciát a CPU-hoz képest. A delegate támogatja az FP32 és FP16 műveleteket.

Az XNNPACK Delegate egy univerzális megoldás ARM CPU-hoz, mobilos processzorokra optimalizálva. Nem igényel speciális hardvert, és támogatja az INT8, FP16 és FP32 formátumokat. Alapértelmezett delegate-ként ajánlott, amely minden eszközön aktiválódik.

Memória- és tenzorkezelés

Az Interpreter a tenzorokat egy memóriakészleten keresztül kezeli, amely az allocateTensors() hívásakor allokálódik. A készlet mérete a .tflite fájlban lévő modell leírása alapján kerül meghatározásra. Az allokáció után az interpreter nem allokál további memóriát az inferencia során.

Dinamikus bemeneti méretű modellekhez használja a resizeInput()-t. Ez a metódus újraosztja a memóriát a bemeneti tenzorok számára az új méret figyelembevételével. A bemeneti tenzor méretének megváltoztatása után szükség lehet az allocateTensors()-on keresztüli újraallokációra.

Több modellel való munka során fontos az erőforrások felszabadítása a close()-on keresztül. A fel nem szabadított Interpreter-ek memóriaszivárgáshoz vezethetnek, különösen korlátozott RAM-mal rendelkező eszközökön. iOS-hez használja az automatikus referenciaszámlálást (ARC), Androidhoz a try-with-resources vagy explicit close() hívást.

Hibakezelés és hibakeresés

A leggyakoribb hibák az Interpreterrel való munka során — a tenzorok méreteinek eltérése. Ha a bemeneti adatok nem felelnek meg a várt alaknak, az Interpreter IllegalArgumentException-t dob Androidon vagy futásidejű hibát iOS-en. Ellenőrizze a méreteket az inputTensorAt() és outputTensorAt() segítségével.

A második gyakori probléma — nem támogatott operátorok delegate használatakor. Ha a delegate nem támogat egy operátort, az Interpreter automatikusan visszatér a CPU-hoz az adott operátorhoz. Az ilyen helyzetek észleléséhez kapcsolja be a naplózást a setCancelled()-en keresztül, vagy ellenőrizze a TFLite naplókat.

A TFLite Benchmark Tool-t biztosít a profilozáshoz: az egyes operátorok idejének mérése, memóriafogyasztás, delegate-ok összehasonlítása. A Benchmark Tool a TFLite Support Library részeként érhető el, és közvetlenül az eszközön futtatható.

Példák inferenciára Interpreter segítségével

Példa a modell végrehajtására Androidon Java API-val GPU Delegate használatával. Az Interpreter olyan opciókkal jön létre, amelyek tartalmazzák a GPU delegate-et. Az inferencia végrehajtása után az eredmény a kimeneti tenzorból olvasható ki:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;
import java.nio.MappedByteBuffer;

MappedByteBuffer model = loadModelFile(context);
GpuDelegate gpu = new GpuDelegate();
Interpreter.Options opts = new Interpreter.Options().addDelegate(gpu);
Interpreter interpreter = new Interpreter.create(model, opts);

float[][] input = preprocessImage(bitmap);
float[][] output = new float[1][1000];
interpreter.run(input, output);

int bestClass = argmax(output[0]);
Log.d("TFLite", "Legfelső osztály: " + bestClass);

gpu.close();
interpreter.close();

Példa a végrehajtásra Pythonban a telepítés előtti teszteléshez. A TFLite Python API lehetővé teszi a .tflite betöltését, az inferencia végrehajtását és az eredmény megjelenítését. Hibakeresésre és a modell pontosságának ellenőrzésére használják:

import tensorflow as tf
import numpy as np

# Töltsd be a TFLite modellt fájlból
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()

# Szerezd meg a bemeneti és kimeneti tenzor részleteit
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# Készíts véletlenszerű bemeneti adatokat teszteléshez
input_data = np.random.randn(
    *input_details[0]["shape"]
).astype(np.float32)

interpreter.set_tensor(input_details[0]["index"], input_data)
interpreter.invoke()

output_data = interpreter.get_tensor(output_details[0]["index"])
print("Kimeneti alak:", output_data.shape)