TF Lite Delegate: τι είναι, εκπρόσωποι GPU και NNAPI

Τι είναι το TF Lite Delegate: αρχιτεκτονική και αρχή λειτουργίας

TF Lite Delegate — είναι ένας προσαρμογέας λογισμικού μεταξύ του TensorFlow Lite Runtime και του επιταχυντή υλικού της συσκευής. Ο εκπρόσωπος υποκλέπτει τις λειτουργίες του γράφου μοντέλου (συνελίξεις, pooling, πολλαπλασιασμοί πινάκων) και τις εκτελεί σε εξειδικευμένο υπολογιστή αντί για CPU. Εάν ο εκπρόσωπος δεν υποστηρίζει μια συγκεκριμένη λειτουργία, εκτελείται στην CPU — αυτό ονομάζεται partial delegation.

Η αρχιτεκτονική του TF Lite Delegate βασίζεται στη διεπαφή SimpleDelegate API και τη δομή TfLiteDelegate σε C++. Κάθε εκπρόσωπος υλοποιεί μεθόδους ανάθεσης κόμβων γράφου, κατανομής μνήμης και εκτέλεσης στη συσκευή-στόχο. Ο προγραμματιστής συνδέει τον εκπρόσωπο μέσω Interpreter::ModifyGraphWithDelegate πριν από την κλήση Invoke. Σύμφωνα με τον οδηγό TensorFlow Guide, ο εκπρόσωπος εφαρμόζεται αυτόματα σε όλες τις υποστηριζόμενες λειτουργίες του μοντέλου.

Έλεγχος συμβατότητας — υποχρεωτικό στάδιο. Δεν υποστηρίζονται όλες οι λειτουργίες από κάθε εκπρόσωπο. Το TensorFlow Lite παρέχει το εργαλείο Delegation Compatibility Check: εκτελέστε το μοντέλο με τον εκπρόσωπο και ελέγξτε πόσες λειτουργίες (ops) έχουν εκχωρηθεί. Εάν λιγότερο από 80% — είναι καλύτερα να επιλέξετε άλλον εκπρόσωπο ή να παραμείνετε στην CPU. Σύμφωνα με το TensorFlow (2025), ο GPU Delegate υποστηρίζει 45 λειτουργίες, ο NNAPI — 60+.

Στα έργα της IT Sectr χρησιμοποιούμε εκπροσώπους GPU για iOS και XNNPACK για Android με ενσωματωμένο έλεγχο συμβατότητας: το μοντέλο δοκιμάζεται σε όλους τους εκπροσώπους, επιλέγεται ο ταχύτερος με πληρότητα ανάθεσης τουλάχιστον 90%.

// Σύνδεση GPU Delegate σε Android
val gpuDelegate = GpuDelegate()
val options = Interpreter.Options().apply {
    addDelegate(gpuDelegate)
    setNumThreads(4)
}
val interpreter = Interpreter(modelBuffer, options)
interpreter.run(input, output)
gpuDelegate.close()

Έλεγχος εκχωρημένων λειτουργιών — έλεγχος συμβατότητας μέσω Interpreter. Από προεπιλογή, ο εκπρόσωπος αποδέχεται όλες τις λειτουργίες που υποστηρίζει. Για εντοπισμό σφαλμάτων, χρησιμοποιήστε καταγραφή του αριθμού των εκχωρημένων κόμβων. Εάν το μοντέλο περιέχει προσαρμοσμένες λειτουργίες (custom ops), ο εκπρόσωπος δεν τις επιταχύνει αλλά ούτε τις χαλάει — εκτελούνται στην CPU.

// Ελέγξτε τον αριθμό των εκχωρημένων λειτουργιών
val delegateCount = interpreter.getDelegateOpsCount(gpuDelegate)
val totalNodes = interpreter.getNodesCount()
Log.d("TFLite", "Εκχωρήθηκαν: $delegateCount / $totalNodes")
if (delegateCount < totalNodes * 0.8) {
    // Όριο 80% — επιλέξτε άλλον εκπρόσωπο
}

GPU Delegate: επιτάχυνση στον επεξεργαστή γραφικών

GPU Delegate — εκπρόσωπος TensorFlow Lite για εκτέλεση του μοντέλου σε GPU μέσω OpenGL ES 3.1+ (Android) ή Metal (iOS). Οι επεξεργαστές γραφικών είναι βελτιστοποιημένοι για παράλληλες πράξεις πινάκων — τα Core ML και συνελικτικά νευρωνικά δίκτυα (CNN) επιτυγχάνουν τη μεγαλύτερη αύξηση. Ο GPU Delegate μειώνει την καθυστέρηση inference 4–8 φορές για μοντέλα όπως MobileNet, EfficientNet, Inception.

Περιορισμοί GPU Delegate: δεν υποστηρίζει όλες τις λειτουργίες (μόνο 45 από ~120 στο TF Lite), απαιτεί OpenGL ES 3.1 ή Metal, καταναλώνει περισσότερη ενέργεια από την CPU. Η GPU είναι αναποτελεσματική για batch size > 1 σε κινητά σενάρια. Σύμφωνα με σημεία αναφοράς TensorFlow (2025), στη συσκευή Pixel 8 με GPU Adreno 740, το μοντέλο MobileNetV2 εκτελείται σε 4.2 ms στην GPU έναντι 18.7 ms στην CPU — επιτάχυνση 4.4x.

Διαμόρφωση GPU Delegate περιλαμβάνει επιλογή ακρίβειας: το float16 μειώνει την ακρίβεια αλλά επιταχύνει το inference κατά 30–40% χωρίς αισθητή απώλεια ποιότητας (για τις περισσότερες εργασίες). Ενεργοποιήστε το allow_precision_loss=true για μέγιστη απόδοση στην GPU. Για εργασίες υψηλής ακρίβειας (ιατρική, οικονομικά) χρησιμοποιήστε float32.

// GPU Delegate με βελτιστοποίηση ακρίβειας
val gpuOptions = GpuDelegateFactory.Options().apply {
    isPrecisionLossAllowed = true
    inferencePreference = GpuDelegateFactory.Options.InferencePreference.SUSTAINED_SPEED
}
val delegate = GpuDelegateFactory.create(gpuOptions)

GPU Delegate σε iOS χρησιμοποιεί Metal Performance Shaders μέσω Metal Delegate. Στο iOS, ο εκπρόσωπος λειτουργεί μέσω Core ML delegate για Apple Neural Engine ή απευθείας μέσω Metal. Το Apple A17 Pro εκτελεί MobileNetV2 σε 1.3 ms — 6 φορές ταχύτερα από CPU. Το Metal delegate είναι διαθέσιμο από iOS 12 και υποστηρίζει όλες τις συσκευές με τσιπ A7+.

NNAPI Delegate: νευρωνικά δίκτυα σε Android μέσω Neural Networks API

NNAPI Delegate (Android Neural Networks API) — εκπρόσωπος TF Lite που χρησιμοποιεί επιτάχυνση υλικού μέσω Android NN HAL (Hardware Abstraction Layer). Το NNAPI ανακατευθύνει τις λειτουργίες μοντέλου σε NPU, DSP ή GPU ανάλογα με τα διαθέσιμα προγράμματα οδήγησης της συσκευής. Υποστηρίζεται σε Android 8.1+ (API 27+) και είναι ο προτεινόμενος προεπιλεγμένος εκπρόσωπος για Android.

Πλεονέκτημα NNAPI — αυτόματη επιλογή επιταχυντή. Εάν η συσκευή διαθέτει NPU (Qualcomm Hexagon, MediaTek APU, Samsung NPU), το NNAPI αναθέτει λειτουργίες σε αυτό. Εάν δεν υπάρχει NPU — σε GPU μέσω OpenCL. Εάν ούτε η GPU υποστηρίζει — σε CPU με βελτιστοποιήσεις DSP. Ο προγραμματιστής δεν καθορίζει συγκεκριμένο επιταχυντή — το NNAPI επιλέγει τον βέλτιστο. Σύμφωνα με το Google I/O 2024, ο εκπρόσωπος NNAPI σε Snapdragon 8 Gen 3 επιταχύνει μοντέλα LLM 12 φορές.

Περιορισμοί NNAPI: άνιση υποστήριξη σε διαφορετικές συσκευές. Οι παλιές συσκευές (Android 8.1) έχουν περιορισμένο σύνολο προγραμμάτων οδήγησης. Η Huawei με Kirin δεν υποστηρίζει NNAPI μέσω Google Services — χρησιμοποιήστε GPU Delegate. Για εγγυημένη συμβατότητα, η Google συνιστά το NNAPI Delegate ως πρώτη επιλογή, με fallback σε GPU ή XNNPACK.

// NNAPI Delegate με fallback CPU
val nnApiOptions = NnApiDelegate.Options().apply {
    acceleratorName = null // null = αυτόματη επιλογή
    allowFp16 = true
    executionPreference = NnApiDelegate.ExecutionPreference.SUSTAINED_SPEED
}
val delegate = NnApiDelegate(nnApiOptions)
val interpreter = Interpreter(model, Interpreter.Options().apply {
    addDelegate(delegate)
    setNumThreads(4)
})

NNAPI Accelerator Name — παράμετρος για ρητή επιλογή επιταχυντή. Εάν μεταβιβαστεί null, το NNAPI επιλέγει αυτόματα. Για δοκιμή, καθορίστε έναν συγκεκριμένο: "qti", "google-edgetpu", "mediatek". Η λίστα διαθέσιμων επιταχυντών εμφανίζεται μέσω NnApiDelegate.getAvailableAccelerators(). Σε παραγωγή, χρησιμοποιήστε αυτόματη επιλογή με όριο συμβατότητας.

XNNPACK Delegate: βελτιστοποίηση CPU μέσω SIMD

XNNPACK Delegate — εκπρόσωπος TensorFlow Lite για βελτιστοποιημένη εκτέλεση σε CPU μέσω εντολών SIMD (ARM NEON, SSE, AVX). Το XNNPACK δεν απαιτεί GPU ή NPU — είναι καθαρός εκπρόσωπος CPU, αλλά με επιτάχυνση 2–4x χάρη σε SIMD, operator fusion, memory pre-fetching και quantized inference (INT8). Ιδανικό για συσκευές χωρίς αποκλειστικό NPU ή όταν απαιτείται εγγυημένη συμβατότητα.

XNNPACK αναπτύχθηκε από την Google ως προεπιλεγμένος εκπρόσωπος TF Lite για CPU (ενσωματωμένος στο TFLite Runtime από προεπιλογή). Υποστηρίζει 90+ λειτουργίες — περισσότερες από GPU ή NNAPI. Το XNNPACK είναι ιδιαίτερα αποτελεσματικό για κβαντισμένα μοντέλα (INT8, INT16): οι λειτουργίες εκτελούνται 2–3 φορές ταχύτερα από την έκδοση float32. Σύμφωνα με σημεία αναφοράς Google (2025), το XNNPACK επιταχύνει το INT8 MobileNetV2 κατά 2.8x σε σχέση με τη βασική CPU.

XNNPACK vs GPU: σε συσκευές χωρίς NPU, το XNNPACK είναι συχνά ταχύτερο από το GPU Delegate για μικρά batch (1–4) — η GPU έχει επιβάρυνση μεταφοράς δεδομένων μεταξύ CPU και GPU. Το XNNPACK λειτουργεί στον ίδιο χώρο διευθύνσεων CPU — δεν υπάρχει αντιγραφή μνήμης. Για μοντέλα έως 5MB, το XNNPACK μπορεί να είναι ταχύτερο από GPU. Για μεγάλα μοντέλα CNN, η GPU κερδίζει χάρη στον παραλληλισμό.

// XNNPACK Delegate ενεργοποιημένο από προεπιλογή στο TFLite 2.18+
// Ρητή χρήση μέσω XnnpackDelegate
val xnnpackOptions = XnnpackDelegate.Options().apply {
    numThreads = 4
    flags = XnnpackDelegate.Flags.USE_XNNPACK
}
val delegate = XnnpackDelegate(xnnpackOptions)
val interpreter = Interpreter(modelBuffer, Interpreter.Options().apply {
    addDelegate(delegate)
})

XNNPACK Flags: USE_XNNPACK — ενεργοποιεί αναγκαστικά τον εκπρόσωπο, FLUSH_TO_ZERO — επεξεργασία αποκανονικοποιημένων αριθμών για επιτάχυνση, ENABLE_XNNPACK_SHAPES — δυναμικά μεγέθη εισόδου. Για μέγιστη συμβατότητα, χρησιμοποιήστε προεπιλεγμένες επιλογές. Σε περίπτωση σφαλμάτων σε παλιές συσκευές, απενεργοποιήστε το XNNPACK — το μοντέλο εξακολουθεί να λειτουργεί στην CPU, αλλά πιο αργά.

Core ML και Metal Delegate: επιτάχυνση σε iOS

Core ML Delegate — εκπρόσωπος TensorFlow Lite για iOS που χρησιμοποιεί το Apple Core ML Framework. Το Core ML μετατρέπει το μοντέλο TF Lite σε μορφή .mlmodel και εκτελεί σε Apple Neural Engine (ANE), GPU (Metal) ή CPU. Τα Apple A17 Pro και M3 διαθέτουν αποκλειστικό Neural Engine που το Core ML χρησιμοποιεί αυτόματα. Ο Core ML Delegate επιταχύνει το inference 5–10 φορές σε σχέση με CPU σε σύγχρονες συσκευές iOS.

Core ML σε iOS υποστηρίζει flex delegate (δυναμική ανάθεση λειτουργιών διαθέσιμων στο Core ML) και full model conversion (μετατροπή ολόκληρου του μοντέλου σε .mlmodel). Η Apple συνιστά το flex delegate — είναι ταχύτερο επειδή λειτουργεί κατά τον χρόνο εκτέλεσης χωρίς προηγούμενη μετατροπή. Ο Core ML Delegate υποστηρίζει μοντέλα float32, float16 και κβαντισμένα (INT8).

Metal Delegate — εκπρόσωπος χαμηλότερου επιπέδου που λειτουργεί απευθείας με Metal Performance Shaders. Χρησιμοποιήστε Metal όταν το Core ML δεν υποστηρίζει συγκεκριμένες λειτουργίες. Ο Metal Delegate παρέχει μέγιστο έλεγχο στην GPU, αλλά απαιτεί περισσότερο κώδικα. Σύμφωνα με την Apple (WWDC 2024), ο Metal Delegate για εγγενή μοντέλα Swift μπορεί να είναι 15–20% ταχύτερος από το Core ML λόγω απουσίας επιβάρυνσης μετατροπής.

// Core ML Delegate σε iOS μέσω TFLite Swift API
import TensorFlowLite

let coreMLDelegate = CoreMLDelegate()
var options = InterpreterOptions()
options.addDelegate(coreMLDelegate)

let interpreter = try Interpreter(modelPath: modelPath, options: options)
try interpreter.invoke(at: 0)

Επιλογή μεταξύ Core ML και Metal: Core ML — για παραγωγή, Metal — για ακραίες περιπτώσεις. Το Core ML διαχειρίζεται αυτόματα τη μνήμη NE, υποστηρίζει πτώση σε CPU (fallback) και δεν απαιτεί χειροκίνητη μετατροπή. Το Metal παρέχει έλεγχο σε buffer και είναι κατάλληλο για προσαρμοσμένες λειτουργίες. Στα έργα της IT Sectr χρησιμοποιούμε Core ML Delegate για όλα τα μοντέλα iOS και Metal μόνο για εργασίες ανάλυσης βίντεο σε πραγματικό χρόνο.

Πώς να επιλέξετε εκπρόσωπο για το έργο

Η επιλογή TF Lite Delegate εξαρτάται από την πλατφόρμα-στόχο, το μοντέλο και τις απαιτήσεις καθυστέρησης. Δεν υπάρχει καθολικά καλύτερος εκπρόσωπος — καθένας έχει δυνατά και αδύνατα σημεία. Βέλτιστη στρατηγική: δοκιμάστε όλους τους διαθέσιμους εκπροσώπους στη συσκευή-στόχο και επιλέξτε τον ελάχιστα επαρκώς γρήγορο — όχι τον ταχύτερο, αλλά τον ελάχιστα επαρκή.

Συστάσεις επιλογής: για Android με NPU (Snapdragon 8 Gen 2+, Dimensity 9000+) — NNAPI Delegate. Για Android χωρίς NPU — XNNPACK Delegate (προεπιλογή). Για iOS — Core ML Delegate. Για έργα πολλαπλών πλατφορμών, χρησιμοποιήστε στρατηγική: NNAPI σε Android, Core ML σε iOS, XNNPACK ως fallback. GPU Delegate — όταν το NNAPI δεν είναι διαθέσιμο και το XNNPACK δεν είναι αρκετά γρήγορο.

Δοκιμή καθυστέρησης — υποχρεωτικό στάδιο επιλογής. Μετρήστε το inference σε ελάχιστη θερμοκρασία (κρύα συσκευή) και μετά από 5 λεπτά συνεχούς λειτουργίας (θερμική ρύθμιση). Η GPU και το NNAPI μπορεί να μειώσουν την απόδοση όταν θερμαίνονται. Το XNNPACK (CPU) υποφέρει λιγότερο. Χρησιμοποιήστε το εργαλείο TensorFlow Lite Benchmark Tool για αυτόματη δοκιμή όλων των εκπροσώπων στη συσκευή σας.

// Στρατηγική επιλογής εκπροσώπου
fun selectDelegate(): TfLiteDelegate {
    return when {
        NnApiDelegate.getAvailableAccelerators()?.isNotEmpty == true ->
            NnApiDelegate()
        GpuDelegateFactory.isGpuDelegateAvailable() ->
            GpuDelegate()
        else -> XnnpackDelegate()
    }
}

Στρατηγική Fallback — φορτώστε το μοντέλο χωρίς εξαιρέσεις: εάν ο εκπρόσωπος δεν υποστηρίζεται, εκτελέστε σε CPU. Το TensorFlow Lite ρίχνει IllegalArgumentException σε σφάλμα δημιουργίας εκπροσώπου. Τυλίξτε τη δημιουργία εκπροσώπου σε try-catch και σε σφάλμα εκτελέστε το μοντέλο χωρίς εκπρόσωπο. Ένας αργός αλλά λειτουργικός AI είναι καλύτερος από ένα σφάλμα για τον χρήστη.