TF Lite Interpreter — المفاهيم الأساسية، الواجهة واستدلال النماذج

المفاهيم الأساسية لـ TF Lite Interpreter

TF Lite Interpreter هو بيئة تشغيل بسيطة تنفذ نموذج تعلم آلي على الجهاز بدون بنية تحتية للخادم. لا يدعم المفسر التدريب — فقط الاستدلال. وهذا يجعله خفيفًا: حجم الملف الثنائي للمفسر الأساسي على Android حوالي 300 كيلوبايت.

يعمل المفسر مع النماذج بتنسيق .tflite، المستند إلى FlatBuffers. عند الإنشاء، يقوم المفسر بتحميل النموذج إلى الذاكرة عبر mmap، مما يوفر وصولًا مباشرًا للبيانات دون نسخ. ثم يخصص المفسر الموترات بناءً على وصف النموذج ويكون جاهزًا للتنفيذ.

كل مثيل للمفسر غير آمن للخيوط. لتنفيذ نفس النموذج بالتوازي عبر خيوط متعددة، قم بإنشاء مثيلات منفصلة للمفسر مع نسخ من النموذج. للاستدعاءات المتسلسلة في خيط واحد، يمكن إعادة استخدام مثيل المفسر.

واجهة API للمفسر على Android و iOS

على Android، يتوفر المفسر عبر واجهة Java API في حزمة org.tensorflow.lite.Interpreter. الطريقة الرئيسية هي run(Object input, Object output)، التي تقبل المصفوفات متعددة الأبعاد أو ByteBuffer. للتحكم الأدق، استخدم طريقتي runForMultipleInputsOutputs() و resizeInput().

على iOS، يتوفر المفسر عبر واجهة Swift API في وحدة TensorFlowLite. الواجهة الأساسية مشابهة لـ Android: التهيئة عبر Interpreter.init(modelPath:)، تخصيص الموترات عبر allocateTensors()، التنفيذ عبر invoke(). تدعم واجهة Swift API أنواع Data و MLMultiTensor كبيانات إدخال.

مقارنة واجهات API حسب المنصة

تكوين المفوضين للتسريع عبر الأجهزة

المفوضون هم مكونات تنقل تنفيذ العمليات إلى أجهزة متخصصة. يستخدم GPU Delegate تقنيتي OpenGL ES (Android) و Metal (iOS) لتسريع العمليات الرسومية. ينقل NNAPI Delegate التنفيذ إلى NPU أو DSP أو GPU عبر Android Neural Networks API.

Core ML Delegate متوفر على iOS ويترجم عمليات TFLite إلى صيغة Core ML. وفقًا لـ Apple ML Benchmarking، استخدام Core ML Delegate على iPhone 15 Pro يسرع الاستدلال حتى 4 مرات مقارنة بـ CPU. يدعم المفوض عمليات FP32 و FP16.

XNNPACK Delegate هو حل شامل لمعالجات ARM CPU، محسّن للمعالجات المحمولة. لا يتطلب أجهزة خاصة ويدعم INT8 و FP16 و FP32. يُوصى به كمفوض أساسي ينشط على جميع الأجهزة.

إدارة الذاكرة والموترات

يدير المفسر الموترات عبر تجمع ذاكرة يتم تخصيصه عند استدعاء allocateTensors(). يُحدد حجم التجمع بناءً على وصف النموذج في ملف .tflite. بعد التخصيص، لا يخصص المفسر ذاكرة إضافية أثناء الاستدلال.

للنماذج ذات أحجام الإدخال الديناميكية، استخدم resizeInput(). تعيد هذه الطريقة تخصيص الذاكرة لموترات الإدخال وفقًا للحجم الجديد. بعد تغيير حجم موتر الإدخال، قد يكون إعادة التخصيص عبر allocateTensors() ضروريًا.

عند العمل مع نماذج متعددة، من المهم تحرير الموارد عبر close(). قد تؤدي مثيلات المفسر غير المحررة إلى تسرب الذاكرة، خاصة على الأجهزة ذات ذاكرة الوصول العشوائي المحدودة. لنظام iOS، استخدم العد التلقائي للمراجع ARC، لنظام Android — استخدم try-with-resources أو استدعاءًا صريحًا لـ close().

معالجة الأخطاء والتصحيح

الأخطاء الأكثر شيوعًا عند العمل مع المفسر هي عدم تطابق أبعاد الموترات. إذا كانت بيانات الإدخال لا تتطابق مع الشكل المتوقع، يطرح المفسر IllegalArgumentException على Android أو خطأ وقت التشغيل على iOS. تحقق من الأبعاد عبر inputTensorAt() و outputTensorAt().

المشكلة الثانية الشائعة هي العوامل غير المدعومة عند استخدام مفوض. إذا كان المفوض لا يدعم عاملاً، يعود المفسر تلقائيًا إلى CPU لهذا العامل. لتحديد هذه الحالات، فعّل التسجيل عبر setCancelled() أو راجع سجلات TFLite.

يوفر TFLite أداة قياس الأداء لإنشاء الملفات الشخصية: قياس وقت تنفيذ كل عامل، استهلاك الذاكرة، مقارنة المفوضين. أداة قياس الأداء متاحة كجزء من TFLite Support Library ويمكن تشغيلها مباشرة على الجهاز.

أمثلة على الاستدلال عبر المفسر

مثال على تشغيل نموذج على Android باستخدام Java API مع GPU Delegate. يتم إنشاء المفسر مع خيارات تتضمن مفوض GPU. بعد الاستدلال، يُقرأ النتيجة من موتر الإخراج:

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;
import java.nio.MappedByteBuffer;

MappedByteBuffer model = loadModelFile(context);
GpuDelegate gpu = new GpuDelegate();
Interpreter.Options opts = new Interpreter.Options().addDelegate(gpu);
Interpreter interpreter = new Interpreter.create(model, opts);

float[][] input = preprocessImage(bitmap);
float[][] output = new float[1][1000];
interpreter.run(input, output);

int bestClass = argmax(output[0]);
Log.d("TFLite", "الفئة الرئيسية: " + bestClass);

gpu.close();
interpreter.close();

مثال على التشغيل على Python للاختبار قبل النشر. تسمح واجهة Python API لـ TFLite بتحميل .tflite، وتنفيذ الاستدلال، وعرض النتيجة. يُستخدم للتصحيح والتحقق من دقة النموذج:

import tensorflow as tf
import numpy as np

# تحميل نموذج TFLite من ملف
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()

# الحصول على تفاصيل موترات الإدخال والإخراج
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# تحضير بيانات إدخال عشوائية للاختبار
input_data = np.random.randn(
    *input_details[0]["shape"]
).astype(np.float32)

interpreter.set_tensor(input_details[0]["index"], input_data)
interpreter.invoke()

output_data = interpreter.get_tensor(output_details[0]["index"])
print("شكل الإخراج:", output_data.shape)