TF Lite Interpreter — ключевые понятия, интерфейс и запуск моделей

Ключевые понятия TF Lite Interpreter

TF Lite Interpreter — это минималистичный рантайм, который выполняет модель машинного обучения на устройстве без серверной инфраструктуры. Interpreter не поддерживает обучение — только инференс. Это позволяет сделать его лёгким: бинарный размер базового интерпретатора на Android составляет около 300 КБ.

Interpreter работает с моделью в формате .tflite, основанном на FlatBuffers. При создании Interpreter загружает модель в память через mmap, что обеспечивает прямой доступ к данным без копирования. Затем Interpreter аллоцирует тензоры на основе описания из модели и готов к выполнению.

Каждый экземпляр Interpreter не является потокобезопасным. Для параллельного выполнения одной модели в нескольких потоках создайте отдельные экземпляры Interpreter с копиями модели. Для последовательных вызовов в одном потоке экземпляр Interpreter можно использовать повторно.

API интерпретатора на Android и iOS

На Android Interpreter доступен через Java API в пакете org.tensorflow.lite.Interpreter. Основной метод — run(Object input, Object output), который принимает многомерные массивы или ByteBuffer. Для более тонкого управления используйте методы runForMultipleInputsOutputs() и resizeInput().

На iOS Interpreter доступен через Swift API в модуле TensorFlowLite. Базовый интерфейс аналогичен Android: инициализация через Interpreter.init(modelPath:), выделение тензоров через allocateTensors(), выполнение через invoke(). Swift API поддерживает Data и MLMultiTensor как типы входных данных.

Сравнение API по платформам

Настройка делегатов для аппаратного ускорения

Делегаты — это компоненты, которые переносят выполнение операций на специализированное оборудование. GPU Delegate использует OpenGL ES (Android) и Metal (iOS) для ускорения графических операций. NNAPI Delegate переносит выполнение на NPU, DSP или GPU через Android Neural Networks API.

Core ML Delegate доступен на iOS и транслирует операции TFLite в формат Core ML. По данным Apple ML Benchmarking, использование Core ML Delegate на iPhone 15 Pro ускоряет инференс до 4x по сравнению с CPU. Делегат поддерживает FP32 и FP16 операции.

XNNPACK Delegate — это универсальное решение для ARM CPU, оптимизированное для мобильных процессоров. Не требует специального оборудования и поддерживает INT8, FP16 и FP32. Рекомендуется как baseline-делегат, который активируется на всех устройствах.

Управление памятью и тензорами

Interpreter управляет тензорами через пул памяти, который аллоцируется при вызове allocateTensors(). Размер пула определяется на основе описания модели в .tflite файле. После аллокации интерпретатор не выделяет дополнительную память во время инференса.

Для моделей с динамическими размерами входов используйте resizeInput(). Этот метод перераспределяет память под входные тензоры с учётом нового размера. После изменения размера входного тензора может потребоваться повторная аллокация через allocateTensors().

При работе с несколькими моделями важно освобождать ресурсы через close(). Неосвобождённые Interpreter могут привести к утечке памяти, особенно на устройствах с ограниченной RAM. Для iOS используйте автоматический подсчёт ссылок ARC, для Android — try-with-resources или явный вызов close().

Обработка ошибок и отладка

Наиболее частые ошибки при работе с Interpreter — несовпадение размерностей тензоров. Если входные данные не соответствуют ожидаемой форме, Interpreter выбрасывает IllegalArgumentException на Android или runtime error на iOS. Проверяйте размерности через inputTensorAt() и outputTensorAt().

Вторая распространённая проблема — неподдерживаемые операторы при использовании делегата. Если делегат не поддерживает оператор, Interpreter автоматически возвращается к CPU для этого оператора. Для выявления таких ситуаций включите логирование через setCancelled() или проверяйте логи TFLite.

TFLite предоставляет Benchmark Tool для профилирования: измерение времени каждого оператора, потребление памяти, сравнение делегатов. Benchmark Tool доступен в составе TFLite Support Library и может быть запущен непосредственно на устройстве.

Примеры инференса через Interpreter

Пример выполнения модели на Android с Java API с использованием GPU Delegate. Interpreter создаётся с опциями, включающими GPU делегат. После выполнения инференса результат читается из выходного тензора:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;
import java.nio.MappedByteBuffer;

MappedByteBuffer model = loadModelFile(context);
GpuDelegate gpu = new GpuDelegate();
Interpreter.Options opts = new Interpreter.Options().addDelegate(gpu);
Interpreter interpreter = new Interpreter.create(model, opts);

float[][] input = preprocessImage(bitmap);
float[][] output = new float[1][1000];
interpreter.run(input, output);

int bestClass = argmax(output[0]);
Log.d("TFLite", "Top class: " + bestClass);

gpu.close();
interpreter.close();

Пример выполнения на Python для тестирования перед развёртыванием. Python API TFLite позволяет загрузить .tflite, выполнить инференс и вывести результат. Используется для отладки и проверки точности модели:

import tensorflow as tf
import numpy as np

# Load the TFLite model from file
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()

# Get input and output tensor details
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# Prepare random input data for testing
input_data = np.random.randn(
    *input_details[0]["shape"]
).astype(np.float32)

interpreter.set_tensor(input_details[0]["index"], input_data)
interpreter.invoke()

output_data = interpreter.get_tensor(output_details[0]["index"])
print("Output shape:", output_data.shape)