Compositing: τι είναι, στρώματα και αρχή λειτουργίας

Τι είναι το compositing;

Compositing — είναι το τελικό στάδιο του γραφικού pipeline, όπου όλα τα ξεχωριστά αποδοθέντα στρώματα (3D σκηνές, στοιχεία UI, βίντεο, διεπαφή συστήματος) συνδυάζονται σε μία εικόνα για προβολή στην οθόνη. Κάθε στρώμα μπορεί να έχει το δικό του χρώμα, διαφάνεια (alpha), θέση και σειρά επικάλυψης.

Στο πλαίσιο της ανάπτυξης κινητών, το compositing είναι σημαντικό για τη διεπαφή χρήστη: παράθυρα, κουμπιά, κείμενο, εικονίδια — όλα αυτά τα στοιχεία συντίθενται σε μία σκηνή. Το σύστημα compositing διαχειρίζεται τη σειρά σχεδίασης (z-order), τη σωστή επικάλυψη ημιδιαφανών στοιχείων και την κινούμενη μετάβαση μεταξύ καταστάσεων UI.

Compositing στο γραφικό pipeline

Στο γραφικό pipeline, το compositing συμβαίνει μετά την ολοκλήρωση όλων των διελεύσεων shader και της rasterization. Η GPU παίρνει τα έτοιμα στρώματα από τα framebuffer, εφαρμόζει λειτουργίες blending και γράφει το αποτέλεσμα στο κύριο framebuffer (front buffer) για αποστολή στην οθόνη.

Πώς λειτουργεί το compositing;

Compositing χρησιμοποιεί ανάμειξη pixel-προς-pixel (blending) χρωμάτων από διαφορετικά στρώματα. Κάθε pixel της εικόνας εξόδου υπολογίζεται με βάση τα χρώματα των pixels από τα επικαλυπτόμενα στρώματα λαμβάνοντας υπόψη τη διαφάνεια (κανάλι alpha) και την επιλεγμένη λειτουργία ανάμειξης.

Κανάλι alpha και διαφάνεια

Κάθε στρώμα περιέχει ένα κανάλι alpha (το τέταρτο συστατικό του χρώματος RGBA) που καθορίζει την αδιαφάνειά του. Alpha = 1.0 — πλήρως αδιαφανές, alpha = 0.0 — πλήρως διαφανές. Alpha blending υπολογίζει το χρώμα του pixel ως σταθμισμένο άθροισμα των χρωμάτων του μπροστινού (source) και πίσω (destination) στρώματος: result = source * alpha + dest * (1 - alpha).

Σειρά σχεδίασης (Αλγόριθμος Ζωγράφου)

Το compositing εκτελείται με σειρά από το πιο μακρινό στρώμα προς το πιο κοντινό (back-to-front). Πρώτα αποδίδεται το στρώμα φόντου, στη συνέχεια κάθε επόμενο στρώμα τοποθετείται πάνω από το προηγούμενο λαμβάνοντας υπόψη τη διαφάνειά του. Z-order καθορίζει ποιο στρώμα βρίσκεται από πάνω και θα καλύπτει τα υποκείμενα στρώματα.

Αλγόριθμοι compositing

Compositing υποστηρίζει διάφορες λειτουργίες ανάμειξης (blend modes) που καθορίζουν πώς συνδυάζονται τα χρώματα των στρωμάτων. Κάθε λειτουργία δίνει διαφορετικό οπτικό αποτέλεσμα και έχει το δικό της υπολογιστικό κόστος.

Premultiplied Alpha

Στη λειτουργία premultiplied alpha, τα κανάλια χρωμάτων αποθηκεύονται ήδη πολλαπλασιασμένα με το κανάλι alpha (RGB × A). Αυτό εξαλείφει την ανάγκη πολλαπλασιασμού σε κάθε λειτουργία blending, επιταχύνοντας το compositing. Premultiplied alpha — η τυπική μορφή για GPU-compositing σε iOS Core Animation και Android HWUI.

Compositing σε κινητά ΛΣ

Κάθε κινητό λειτουργικό σύστημα έχει το δικό του σύστημα compositing, βελτιστοποιημένο για την πλατφόρμα υλικού του. Compositing σε κινητά ΛΣ είναι υπεύθυνο για την απόδοση ολόκληρης της διεπαφής χρήστη.

iOS: Core Animation + Metal

Στο iOS, το compositing διαχειρίζεται το Core Animation — ένα υψηλού επιπέδου σύστημα που λειτουργεί πάνω από Metal ή OpenGL ES. Το Core Animation δημιουργεί ένα layer tree (δέντρο στρωμάτων) το οποίο στη συνέχεια συντίθεται στην τελική εικόνα. Core Animation ανιχνεύει αυτόματα ποια στρώματα άλλαξαν και τα επανασχεδιάζει μόνο αυτά (incremental compositing), ελαχιστοποιώντας το φορτίο της GPU.

Android: SurfaceFlinger + HWUI

Στο Android, το compositing εκτελείται από το SurfaceFlinger — μια υπηρεσία συστήματος που συνδυάζει επιφάνειες (surfaces) από διάφορες εφαρμογές και τη διεπαφή συστήματος. SurfaceFlinger χρησιμοποιεί το HWC (Hardware Composer) για να μεταφέρει μέρος της εργασίας compositing στο αποκλειστικό υλικό του ελεγκτή οθόνης.

Απόδοση compositing

Απόδοση compositing — συχνή αιτία περιορισμού απόδοσης σε εφαρμογές κινητών, ειδικά σε σύνθετες κινούμενες γραφικές και επικάλυψη πολλαπλών ημιδιαφανών στρωμάτων. Κάθε επιπλέον στρώμα απαιτεί ανάγνωση, ανάμειξη και εγγραφή pixels στη μνήμη.

Παράγοντες που επηρεάζουν την απόδοση

• Αριθμός στρωμάτων — κάθε στρώμα απαιτεί ξεχωριστή διέλευση blending. Η μείωση του αριθμού στρωμάτων επιταχύνει γραμμικά το compositing.
• Ανάλυση στρωμάτων — στρώματα υψηλής ανάλυσης αυξάνουν τον αριθμό των επεξεργασμένων pixels. Χρησιμοποιήστε το ελάχιστο δυνατό μέγεθος offscreen buffers.
• Διαφάνεια και overdraw — ημιδιαφανή στρώματα απαιτούν ανάγνωση των υποκείμενων pixels, αυξάνοντας το εύρος ζώνης.
• CPU compositing — εάν το compositing εκτελείται στην CPU (software rendering), η απόδοση πέφτει δραστικά. Το GPU-compositing είναι πάντα προτιμότερο.

GPU Compositing vs CPU Compositing

Οι σύγχρονες κινητές συσκευές εκτελούν compositing στην GPU μέσω εξειδικευμένων μπλοκ blending. GPU-compositing χρησιμοποιεί παράλληλα μπλοκ ROP και φίλτρα υφής για γρήγορη ανάμειξη pixels. Το CPU-compositing χρησιμοποιείται μόνο σε σπάνιες περιπτώσεις (παλιές συσκευές, δοκιμές).

Βελτιστοποίηση compositing

Βελτιστοποίηση compositing — μία από τις βασικές εργασίες στην ανάπτυξη κινητών διεπαφών. Η ομαλότητα του UI (60 FPS) εξαρτάται άμεσα από την αποδοτικότητα του συνδυασμού στρωμάτων.

Κύριες μέθοδοι βελτιστοποίησης

• Ελαχιστοποίηση στρωμάτων — συνδυασμός στατικών στρωμάτων σε ένα (layer flattening) μέσω προεπεξεργασίας.
• Opaque layers — τα αδιαφανή στρώματα δεν απαιτούν alpha blending, επιταχύνοντας σημαντικά το compositing.
• Incremental compositing — επανασχεδίαση μόνο των αλλαγμένων στρωμάτων, όχι ολόκληρης της σκηνής (χρησιμοποιείται από το Core Animation).
• Hardware Composer — χρήση HWC για υλικό compositing χωρίς GPU.

Εργαλεία προφίλ

Για ανάλυση απόδοσης compositing χρησιμοποιήστε: Core Animation Profiler (Xcode Instruments) — δείχνει τον αριθμό στρωμάτων και τη συχνότητα compositing; GPU Debugger (Android Studio) — εμφανίζει φορτίο GPU και overdraw; Overdraw Visualisation — εργαλείο εντοπισμού σφαλμάτων που δείχνει περιοχές πολλαπλής επανασχεδίασης pixels.