TF Lite Interpreter — konsep kunci, antarmuka dan menjalankan model

Konsep kunci TF Lite Interpreter

TF Lite Interpreter adalah runtime minimalis yang menjalankan model machine learning pada perangkat tanpa infrastruktur server. Interpreter tidak mendukung pelatihan — hanya inferensi. Ini membuatnya ringan: ukuran biner interpreter dasar di Android sekitar 300 KB.

Interpreter bekerja dengan model dalam format .tflite, berdasarkan FlatBuffers. Saat dibuat, Interpreter memuat model ke memori melalui mmap, yang memberikan akses langsung ke data tanpa menyalin. Kemudian Interpreter mengalokasikan tensor berdasarkan deskripsi dari model dan siap untuk dijalankan.

Setiap instance Interpreter tidak thread-safe. Untuk menjalankan satu model secara paralel di beberapa thread, buat instance Interpreter terpisah dengan salinan model. Untuk panggilan berurutan dalam satu thread, instance Interpreter dapat digunakan kembali.

API interpreter di Android dan iOS

Di Android, Interpreter tersedia melalui Java API dalam paket org.tensorflow.lite.Interpreter. Metode utama — run(Object input, Object output) — menerima array multidimensi atau ByteBuffer. Untuk kontrol yang lebih halus, gunakan metode runForMultipleInputsOutputs() dan resizeInput().

Di iOS, Interpreter tersedia melalui Swift API dalam modul TensorFlowLite. Antarmuka dasar mirip dengan Android: inisialisasi melalui Interpreter.init(modelPath:), alokasi tensor melalui allocateTensors(), eksekusi melalui invoke(). Swift API mendukung Data dan MLMultiTensor sebagai tipe data masukan.

Perbandingan API antar platform

Konfigurasi delegat untuk percepatan perangkat keras

Delegat adalah komponen yang memindahkan eksekusi operasi ke perangkat keras khusus. GPU Delegate menggunakan OpenGL ES (Android) dan Metal (iOS) untuk mempercepat operasi grafis. NNAPI Delegate memindahkan eksekusi ke NPU, DSP atau GPU melalui Android Neural Networks API.

Core ML Delegate tersedia di iOS dan menerjemahkan operasi TFLite ke format Core ML. Menurut Apple ML Benchmarking, penggunaan Core ML Delegate di iPhone 15 Pro mempercepat inferensi hingga 4x dibandingkan CPU. Delegat mendukung operasi FP32 dan FP16.

XNNPACK Delegate adalah solusi universal untuk ARM CPU, dioptimalkan untuk prosesor seluler. Tidak memerlukan perangkat keras khusus dan mendukung INT8, FP16 dan FP32. Direkomendasikan sebagai delegat dasar yang diaktifkan di semua perangkat.

Manajemen memori dan tensor

Interpreter mengelola tensor melalui pool memori yang dialokasikan saat pemanggilan allocateTensors(). Ukuran pool ditentukan berdasarkan deskripsi model dalam file .tflite. Setelah alokasi, interpreter tidak mengalokasikan memori tambahan selama inferensi.

Untuk model dengan ukuran masukan dinamis gunakan resizeInput(). Metode ini mengalokasikan ulang memori untuk tensor masukan dengan mempertimbangkan ukuran baru. Setelah mengubah ukuran tensor masukan, mungkin diperlukan alokasi ulang melalui allocateTensors().

Saat bekerja dengan banyak model, penting untuk membebaskan sumber daya melalui close(). Interpreter yang tidak dibebaskan dapat menyebabkan kebocoran memori, terutama pada perangkat dengan RAM terbatas. Untuk iOS gunakan penghitungan referensi otomatis ARC, untuk Android — try-with-resources atau panggilan close() eksplisit.

Penanganan kesalahan dan debugging

Kesalahan paling umum saat bekerja dengan Interpreter — ketidakcocokan dimensi tensor. Jika data masukan tidak sesuai dengan bentuk yang diharapkan, Interpreter melempar IllegalArgumentException di Android atau runtime error di iOS. Periksa dimensi melalui inputTensorAt() dan outputTensorAt().

Masalah umum kedua — operator yang tidak didukung saat menggunakan delegat. Jika delegat tidak mendukung operator, Interpreter secara otomatis kembali ke CPU untuk operator tersebut. Untuk mendeteksi situasi seperti itu, aktifkan logging melalui setCancelled() atau periksa log TFLite.

TFLite menyediakan Benchmark Tool untuk profiling: pengukuran waktu setiap operator, konsumsi memori, perbandingan delegat. Benchmark Tool tersedia sebagai bagian dari TFLite Support Library dan dapat dijalankan langsung di perangkat.

Contoh inferensi melalui Interpreter

Contoh eksekusi model di Android dengan Java API menggunakan GPU Delegate. Interpreter dibuat dengan opsi yang mencakup delegat GPU. Setelah menjalankan inferensi, hasilnya dibaca dari tensor keluaran:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;
import java.nio.MappedByteBuffer;

MappedByteBuffer model = loadModelFile(context);
GpuDelegate gpu = new GpuDelegate();
Interpreter.Options opts = new Interpreter.Options().addDelegate(gpu);
Interpreter interpreter = new Interpreter.create(model, opts);

float[][] input = preprocessImage(bitmap);
float[][] output = new float[1][1000];
interpreter.run(input, output);

int bestClass = argmax(output[0]);
Log.d("TFLite", "Kelas atas: " + bestClass);

gpu.close();
interpreter.close();

Contoh eksekusi di Python untuk pengujian sebelum deployment. Python API TFLite memungkinkan memuat .tflite, menjalankan inferensi dan menampilkan hasil. Digunakan untuk debugging dan memeriksa akurasi model:

import tensorflow as tf
import numpy as np

# Muat model TFLite dari file
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()

# Dapatkan detail tensor masukan dan keluaran
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# Siapkan data masukan acak untuk pengujian
input_data = np.random.randn(
    *input_details[0]["shape"]
).astype(np.float32)

interpreter.set_tensor(input_details[0]["index"], input_data)
interpreter.invoke()

output_data = interpreter.get_tensor(output_details[0]["index"])
print("Bentuk keluaran:", output_data.shape)