TensorFlow Lite — là gì, các tính năng chính và ứng dụng

TensorFlow Lite là gì

TensorFlow Lite là môi trường chạy chuyên dụng để chạy các mô hình machine learning trên thiết bị có tài nguyên hạn chế. Khác với TensorFlow đầy đủ, TFLite không hỗ trợ huấn luyện hoặc lan truyền ngược — chỉ suy luận. Điều này cho phép giữ kích thước nhị phân của thư viện ở mức tối thiểu: khoảng 300 KB cho trình thông dịch cơ bản trên Android.

Kiến trúc TFLite được xây dựng xung quanh định dạng .tflite, dựa trên FlatBuffers. FlatBuffers cung cấp quyền truy cập trực tiếp vào dữ liệu mà không cần giai đoạn phân tích cú pháp, điều quan trọng đối với thiết bị di động có bộ nhớ hạn chế. Một mô hình ở định dạng .tflite chứa đồ thị tính toán, trọng số và siêu dữ liệu trong một tệp nhị phân duy nhất.

Theo Google I/O 2024, TFLite được sử dụng trong Google Photos, Gboard, YouTube và các ứng dụng Google khác với tổng đối tượng hơn 4 tỷ thiết bị. Framework này hỗ trợ tất cả các kiến trúc chính: CNN, RNN, LSTM, Transformer và các thao tác tùy chỉnh qua ủy quyền.

Kiến trúc TensorFlow Lite

Môi trường chạy TFLite bao gồm bốn thành phần. TFLite Converter nhận mô hình từ TensorFlow (SavedModel, Keras, ConcreteFunction) và chuyển đổi nó sang định dạng .tflite với tối ưu hóa tùy chọn. TFLite Interpreter tải tệp .tflite và thực hiện suy luận, quản lý tensor và bộ nhớ.

Ủy quyền là các thành phần chuyển việc thực thi thao tác sang phần cứng chuyên dụng. GPU Delegate sử dụng OpenGL ES và Metal, NNAPI Delegate sử dụng API Android Neural Networks, Core ML Delegate sử dụng Apple Core ML. XNNPACK Delegate tối ưu hóa việc thực thi trên CPU ARM. Mỗi ủy quyền hỗ trợ một tập toán tử cụ thể.

Thành phần thứ tư là Task Library, cung cấp API cấp cao cho các tác vụ điển hình: phân loại hình ảnh, phát hiện đối tượng, phân đoạn, NLU. Task Library hoạt động trên Interpreter và ẩn các chi tiết quản lý tensor.

Tối ưu hóa mô hình và lượng tử hóa

TFLite hỗ trợ ba cấp độ lượng tử hóa. Lượng tử hóa số nguyên đầy đủ INT8 chuyển đổi trọng số và kích hoạt từ FP32 thành số nguyên 8 bit. Kích thước mô hình giảm 4 lần và tốc độ suy luận trên thiết bị có hỗ trợ INT8 tăng lên đến 3 lần. Lượng tử hóa FP16 giảm kích thước một nửa với mất mát độ chính xác tối thiểu.

Lượng tử hóa động giữ trọng số ở INT8 nhưng thực hiện tính toán ở FP32. Chế độ này phù hợp với các mô hình nhạy cảm với độ chính xác và giảm kích thước lên đến 4 lần trong khi duy trì chất lượng. Theo Google ML Performance Benchmarks, lượng tử hóa động được khuyến nghị cho các mô hình NLP.

So sánh các chế độ lượng tử hóa TFLite

Tăng tốc phần cứng trên Android và iOS

Trên Android, cơ chế tăng tốc chính là Ủy quyền NNAPI, chuyển việc thực thi thao tác sang NPU, DSP hoặc GPU qua API Android Neural Networks. NNAPI có sẵn trên thiết bị chạy Android 8.1+ và hỗ trợ tính toán INT8 và FP16. GPU Delegate cho Android sử dụng OpenGL ES 3.1+ và Vulkan.

Trên iOS, tăng tốc được cung cấp qua Ủy quyền Core ML, dịch các thao tác TFLite sang định dạng Core ML và thực thi chúng trên Apple Neural Engine. Theo Apple ML Benchmarking, sử dụng Core ML Delegate tăng tốc suy luận trên iPhone 15 Pro lên đến 4 lần so với CPU. GPU Delegate cho iOS sử dụng Metal Performance Shaders.

XNNPACK Delegate là giải pháp đa nền tảng cho CPU ARM, được tối ưu hóa cho bộ vi xử lý di động. XNNPACK hỗ trợ các thao tác FP32, FP16 và INT8 và không yêu cầu phần cứng đặc biệt. Nó được khuyến nghị làm ủy quyền cơ sở cho tất cả các thiết bị.

Triển khai mô hình với TFLite

Quy trình triển khai bao gồm ba bước. Đầu tiên — chuyển đổi mô hình sang .tflite qua TFLite Converter. Thứ hai — bao gồm tệp .tflite trong tài nguyên ứng dụng. Đối với Android, tệp được đặt trong assets; đối với iOS, trong gói ứng dụng qua Xcode. Thứ ba — khởi tạo Interpreter và thực hiện suy luận.

Đối với cập nhật mô hình động, Google khuyến nghị sử dụng Firebase ML Model Downloading hoặc cơ chế tải xuống tùy chỉnh từ đám mây. Tệp .tflite được cập nhật được lưu vào bộ nhớ cục bộ và tải vào Interpreter khi khởi động lần tiếp theo.

Khi triển khai, điều quan trọng là xem xét kích thước tệp .tflite. Google Play giới hạn kích thước APK ở mức 200 MB. Đối với mô hình lớn hơn 50 MB, nên sử dụng Android App Bundle hoặc tải mô hình riêng qua Play Asset Delivery.

Ví dụ sử dụng TFLite trong mã

Ví dụ tải và chạy mô hình trên Android với API Java. Sử dụng Interpreter.create() để tải .tflite từ assets và run() cho suy luận. Dữ liệu đầu vào và đầu ra được truyền dưới dạng mảng đa chiều hoặc ByteBuffer:

import org.tensorflow.lite.Interpreter;
import java.nio.MappedByteBuffer;
import java.io.FileInputStream;
import java.nio.channels.FileChannel;

MappedByteBuffer model = new FileInputStream(
    getAssets().openFd("model.tflite")
).getChannel().map(
    FileChannel.MapMode.READ_ONLY, 0, fc.size()
);

Interpreter interpreter = new Interpreter.create(model);
float[][] input = new float[1][224 * 224 * 3];
float[][] output = new float[1][1000];
interpreter.run(input, output);
interpreter.close();

Ví dụ sử dụng GPU Delegate trên Android để tăng tốc phần cứng. Thêm phụ thuộc com.android.support:tensorflow-lite-gpu và chỉ định ủy quyền khi tạo Interpreter:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;

GpuDelegate gpuDelegate = new GpuDelegate.create();
Interpreter.Options options = new Interpreter.Options().addDelegate(gpuDelegate);
Interpreter interpreter = new Interpreter.create(model, options);

// Run inference on the input data
interpreter.run(input, output);

// Release delegate resources after inference
gpuDelegate.close();
interpreter.close();