TF Lite Interpreter — ключови понятия, интерфейс и стартиране на модели

Ключови понятия на TF Lite Interpreter

TF Lite Interpreter е минималистична среда за изпълнение, която стартира модел за машинно обучение на устройството без сървърна инфраструктура. Interpreter не поддържа обучение — само инференция. Това го прави лек: двоичният размер на основния интерпретатор на Android е около 300 KB.

Interpreter работи с модела във формат .tflite, базиран на FlatBuffers. При създаване Interpreter зарежда модела в паметта чрез mmap, което осигурява директен достъп до данните без копиране. След това Interpreter алокира тензори въз основа на описанието от модела и е готов за изпълнение.

Всеки екземпляр на Interpreter не е безопасен за нишки. За паралелно изпълнение на един модел в няколко нишки, създайте отделни екземпляри на Interpreter с копия на модела. За последователни извиквания в една нишка, екземплярът на Interpreter може да се използва повторно.

API на интерпретатора на Android и iOS

На Android Interpreter е достъпен чрез Java API в пакета org.tensorflow.lite.Interpreter. Основният метод — run(Object input, Object output) — приема многомерни масиви или ByteBuffer. За по-фин контрол използвайте методите runForMultipleInputsOutputs() и resizeInput().

На iOS Interpreter е достъпен чрез Swift API в модула TensorFlowLite. Основният интерфейс е аналогичен на Android: инициализация чрез Interpreter.init(modelPath:), алокация на тензори чрез allocateTensors(), изпълнение чрез invoke(). Swift API поддържа Data и MLMultiTensor като типове входни данни.

Сравнение на API по платформи

Конфигуриране на делегати за хардуерно ускорение

Делегатите са компоненти, които прехвърлят изпълнението на операции към специализиран хардуер. GPU Delegate използва OpenGL ES (Android) и Metal (iOS) за ускоряване на графични операции. NNAPI Delegate прехвърля изпълнението към NPU, DSP или GPU чрез Android Neural Networks API.

Core ML Delegate е достъпен на iOS и превежда TFLite операции във формат Core ML. Според Apple ML Benchmarking, използването на Core ML Delegate на iPhone 15 Pro ускорява инференцията до 4x в сравнение с CPU. Делегатът поддържа FP32 и FP16 операции.

XNNPACK Delegate е универсално решение за ARM CPU, оптимизирано за мобилни процесори. Не изисква специален хардуер и поддържа INT8, FP16 и FP32. Препоръчва се като базов делегат, който се активира на всички устройства.

Управление на паметта и тензорите

Interpreter управлява тензорите чрез пул от памет, който се алокира при извикване на allocateTensors(). Размерът на пула се определя въз основа на описанието на модела в .tflite файла. След алокация интерпретаторът не отделя допълнителна памет по време на инференция.

За модели с динамични размери на входовете използвайте resizeInput(). Този метод преразпределя паметта за входните тензори, като взема предвид новия размер. След промяна на размера на входния тензор може да се наложи повторна алокация чрез allocateTensors().

При работа с няколко модела е важно да освобождавате ресурси чрез close(). Неосвободените Interpreter могат да доведат до изтичане на памет, особено на устройства с ограничена RAM. За iOS използвайте автоматично броене на референции ARC, за Android — try-with-resources или изрично извикване на close().

Обработка на грешки и отстраняване на грешки

Най-честите грешки при работа с Interpreter — несъответствие на размерите на тензорите. Ако входните данни не съответстват на очакваната форма, Interpreter хвърля IllegalArgumentException на Android или грешка по време на изпълнение на iOS. Проверявайте размерите чрез inputTensorAt() и outputTensorAt().

Вторият често срещан проблем — неподдържани оператори при използване на делегат. Ако делегатът не поддържа оператор, Interpreter автоматично преминава към CPU за този оператор. За откриване на такива ситуации включете регистриране чрез setCancelled() или проверявайте TFLite логовете.

TFLite предоставя Benchmark Tool за профилиране: измерване на времето на всеки оператор, консумация на памет, сравнение на делегати. Benchmark Tool е достъпен като част от TFLite Support Library и може да се стартира директно на устройството.

Примери за инференция чрез Interpreter

Пример за изпълнение на модел на Android с Java API с използване на GPU Delegate. Interpreter се създава с опции, включващи GPU делегата. След изпълнение на инференцията резултатът се чете от изходния тензор:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;
import java.nio.MappedByteBuffer;

MappedByteBuffer model = loadModelFile(context);
GpuDelegate gpu = new GpuDelegate();
Interpreter.Options opts = new Interpreter.Options().addDelegate(gpu);
Interpreter interpreter = new Interpreter.create(model, opts);

float[][] input = preprocessImage(bitmap);
float[][] output = new float[1][1000];
interpreter.run(input, output);

int bestClass = argmax(output[0]);
Log.d("TFLite", "Най-горен клас: " + bestClass);

gpu.close();
interpreter.close();

Пример за изпълнение на Python за тестване преди внедряване. Python API на TFLite позволява зареждане на .tflite, изпълнение на инференция и показване на резултата. Използва се за отстраняване на грешки и проверка на точността на модела:

import tensorflow as tf
import numpy as np

# Зареди TFLite модел от файл
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()

# Вземи детайли на входния и изходния тензор
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# Подготви произволни входни данни за тестване
input_data = np.random.randn(
    *input_details[0]["shape"]
).astype(np.float32)

interpreter.set_tensor(input_details[0]["index"], input_data)
interpreter.invoke()

output_data = interpreter.get_tensor(output_details[0]["index"])
print("Форма на изхода:", output_data.shape)