TensorFlow Lite — co to jest, kluczowe możliwości i zastosowanie

Co to jest TensorFlow Lite

TensorFlow Lite — to specjalistyczne środowisko uruchomieniowe do wykonywania modeli uczenia maszynowego na urządzeniach o ograniczonych zasobach. W przeciwieństwie do pełnego TensorFlow, TFLite nie wspiera uczenia i propagacji wstecznej — tylko wnioskowanie. Pozwala to zminimalizować rozmiar biblioteki binarnej: około 300 KB dla podstawowego interpretera na Android.

Architektura TFLite opiera się na formacie .tflite, bazującym na FlatBuffers. FlatBuffers zapewnia bezpośredni dostęp do danych bez etapu parsowania, co jest kluczowe dla urządzeń mobilnych z ograniczoną pamięcią. Model w formacie .tflite zawiera graf obliczeniowy, wagi i metadane w jednym pliku binarnym.

Według Google I/O 2024, TFLite jest używany w Google Photos, Gboard, YouTube i innych aplikacjach Google z łączną bazą ponad 4 miliardów urządzeń. Framework wspiera wszystkie główne architektury: CNN, RNN, LSTM, Transformer i operacje niestandardowe przez delegaty.

Architektura TensorFlow Lite

Środowisko uruchomieniowe TFLite składa się z czterech komponentów. TFLite Converter przyjmuje model z TensorFlow (SavedModel, Keras, ConcreteFunction) i przekształca go do formatu .tflite z opcjonalną optymalizacją. TFLite Interpreter ładuje .tflite i wykonuje wnioskowanie, zarządzając tensorami i pamięcią.

Delegaty — to komponenty przenoszące wykonywanie operacji na specjalistyczny sprzęt. GPU Delegate używa OpenGL ES i Metal, NNAPI Delegate — Android Neural Networks API, Core ML Delegate — Apple Core ML. XNNPACK Delegate optymalizuje wykonywanie na ARM CPU. Każdy delegat wspiera określony zestaw operatorów.

Czwarty komponent — Task Library, udostępniająca wysokopoziomowe API dla typowych zadań: klasyfikacja obrazów, wykrywanie obiektów, segmentacja, NLU. Task Library działa na Interpreter i ukrywa szczegóły zarządzania tensorami.

Optymalizacja modeli i kwantyzacja

TFLite wspiera trzy poziomy kwantyzacji. Pełna kwantyzacja całkowitoliczbowa INT8 przekształca wagi i aktywacje z FP32 na 8-bitowe liczby całkowite. Rozmiar modelu zmniejsza się 4-krotnie, a szybkość wnioskowania na urządzeniach z obsługą INT8 wzrasta do 3x. Kwantyzacja FP16 zmniejsza rozmiar o połowę przy minimalnej utracie dokładności.

Kwantyzacja dynamiczna zachowuje wagi w INT8, ale wykonuje obliczenia w FP32. Ten tryb jest odpowiedni dla modeli wrażliwych na dokładność i daje zmniejszenie rozmiaru do 4x przy zachowaniu jakości. Według Google ML Performance Benchmarks, kwantyzacja dynamiczna jest zalecana dla modeli NLP.

Porównanie trybów kwantyzacji TFLite

Przyspieszenie sprzętowe na Android i iOS

Na Android głównym mechanizmem przyspieszenia jest NNAPI Delegate, który przenosi wykonywanie operacji na NPU, DSP lub GPU przez Android Neural Networks API. NNAPI jest dostępny na urządzeniach z Android 8.1+ i wspiera obliczenia INT8 i FP16. GPU Delegate dla Android używa OpenGL ES 3.1+ i Vulkan.

Na iOS przyspieszenie jest zapewniane przez Core ML Delegate, który tłumaczy operacje TFLite na format Core ML i wykonuje je na Apple Neural Engine. Według Apple ML Benchmarking, użycie Core ML Delegate przyspiesza wnioskowanie na iPhone 15 Pro do 4x w porównaniu z CPU. GPU Delegate dla iOS używa Metal Performance Shaders.

XNNPACK Delegate — to rozwiązanie wieloplatformowe dla ARM CPU, zoptymalizowane dla procesorów mobilnych. XNNPACK wspiera operacje FP32, FP16 i INT8 i nie wymaga specjalistycznego sprzętu. Zalecany jako delegat bazowy dla wszystkich urządzeń.

Wdrażanie modelu z TFLite

Proces wdrażania obejmuje trzy kroki. Pierwszy — konwersja modelu do .tflite przez TFLite Converter. Drugi — dołączenie pliku .tflite do zasobów aplikacji. Dla Android plik umieszcza się w assets, dla iOS — w bundle aplikacji przez Xcode. Trzeci — inicjalizacja Interpreter i wykonanie wnioskowania.

Do dynamicznej aktualizacji modeli Google zaleca używanie Firebase ML Model Downloading lub własnego mechanizmu pobierania z chmury. Zaktualizowany plik .tflite jest zapisywany w lokalnym magazynie i ładowany do Interpreter przy następnym uruchomieniu.

Przy wdrażaniu ważne jest uwzględnienie rozmiaru pliku .tflite. Google Play ogranicza rozmiar APK do 200 MB. Dla modeli większych niż 50 MB zaleca się używanie Android App Bundle lub pobieranie modelu osobno przez Play Asset Delivery.

Przykłady użycia TFLite w kodzie

Przykład ładowania i wykonywania modelu na Android z Java API. Użyj Interpreter.create() do załadowania .tflite z assets i run() do wnioskowania. Dane wejściowe i wyjściowe są przekazywane jako tablice wielowymiarowe lub ByteBuffer:

import org.tensorflow.lite.Interpreter;
import java.nio.MappedByteBuffer;
import java.io.FileInputStream;
import java.nio.channels.FileChannel;

MappedByteBuffer model = new FileInputStream(
    getAssets().openFd("model.tflite")
).getChannel().map(
    FileChannel.MapMode.READ_ONLY, 0, fc.size()
);

Interpreter interpreter = new Interpreter.create(model);
float[][] input = new float[1][224 * 224 * 3];
float[][] output = new float[1][1000];
interpreter.run(input, output);
interpreter.close();

Przykład użycia GPU Delegate na Android do przyspieszenia sprzętowego. Dodaj zależność com.android.support:tensorflow-lite-gpu i wskaż delegat przy tworzeniu Interpreter:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;

GpuDelegate gpuDelegate = new GpuDelegate.create();
Interpreter.Options options = new Interpreter.Options().addDelegate(gpuDelegate);
Interpreter interpreter = new Interpreter.create(model, options);

// Wykonaj wnioskowanie na danych wejściowych
interpreter.run(input, output);

// Zwolnij zasoby delegata po wnioskowaniu
gpuDelegate.close();
interpreter.close();