Compositing: ce este, straturi și principiul de funcționare

Ce este compositing?

Compositing — este etapa finală a pipeline-ului grafic, în care toate straturile randate separat (scene 3D, elemente UI, video, interfața sistemului) sunt combinate într-o singură imagine pentru afișare pe ecran. Fiecare strat poate avea propria culoare, transparență (alpha), poziție și ordine de suprapunere.

În contextul dezvoltării mobile, compozitarea este importantă pentru interfața utilizatorului: ferestre, butoane, text, pictograme — toate aceste elemente sunt compozitate într-o singură scenă. Sistemul de compozitare gestionează ordinea de desenare (z-order), suprapunerea corectă a elementelor semi-transparente și animația de tranziție între stările UI.

Compositing în pipeline-ul grafic

În pipeline-ul grafic, compozitarea are loc după finalizarea tuturor pasajelor de shader și rasterizare. GPU preia straturile gata din framebuffer-e, aplică operații de blending și scrie rezultatul în buffer-ul principal de cadru (front buffer) pentru trimiterea la display.

Cum funcționează compositing?

Compositing utilizează amestecarea pixel-cu-pixel (blending) a culorilor din diferite straturi. Fiecare pixel al imaginii de ieșire este calculat pe baza culorilor pixelilor din straturile suprapuse, ținând cont de transparență (canalul alpha) și modul de amestecare selectat.

Canalul alpha și transparența

Fiecare strat conține un canal alpha (a patra componentă a culorii RGBA) care determină opacitatea sa. Alpha = 1.0 — complet opac, alpha = 0.0 — complet transparent. Alpha blending calculează culoarea pixelului ca o sumă ponderată a culorilor stratului frontal (source) și posterior (destination): result = source * alpha + dest * (1 - alpha).

Ordinea de desenare (Algoritmul Pictorului)

Compozitarea se execută în ordinea de la stratul cel mai îndepărtat la cel mai apropiat (back-to-front). Mai întâi se randază stratul de fundal, apoi fiecare strat următor se suprapune peste cel anterior ținând cont de transparența sa. Z-order determină care strat este deasupra și va acoperi straturile subiacente.

Algoritmi de compositing

Compositing suportă diferite moduri de amestecare (blend modes) care determină cum se combină culorile straturilor. Fiecare mod oferă un efect vizual diferit și are propriile costuri de calcul.

Premultiplied Alpha

În modul premultiplied alpha, canalele de culoare sunt stocate deja înmulțite cu canalul alpha (RGB × A). Aceasta elimină necesitatea înmulțirii la fiecare operație de blending, accelerând compozitarea. Premultiplied alpha — format standard pentru GPU-compositing în iOS Core Animation și Android HWUI.

Compositing în sistemele de operare mobile

Fiecare sistem de operare mobil are propriul sistem de compozitare, optimizat pentru platforma sa hardware. Compositing în sistemele de operare mobile este responsabil pentru randarea întregii interfețe de utilizator.

iOS: Core Animation + Metal

În iOS, compozitarea este gestionată de Core Animation — un sistem de nivel înalt care funcționează pe Metal sau OpenGL ES. Core Animation creează un layer tree (arbore de straturi) care apoi este compozitat într-o imagine finală. Core Animation detectează automat care straturi s-au modificat și le rerandază doar pe acestea (compozitare incrementală), minimizând încărcarea GPU-ului.

Android: SurfaceFlinger + HWUI

În Android, compozitarea este executată de SurfaceFlinger — un serviciu de sistem care combină suprafețele (surfaces) de la diferite aplicații și interfața sistemului. SurfaceFlinger utilizează HWC (Hardware Composer) pentru a transfera o parte din munca de compozitare pe hardware-ul dedicat al controlerului de display.

Performanța compositing-ului

Performanța compositing-ului — un blocaj frecvent în aplicațiile mobile, în special la animații complexe și suprapunerea mai multor straturi semi-transparente. Fiecare strat suplimentar necesită citirea, amestecarea și scrierea pixelilor în memorie.

Factori care influențează performanța

• Numărul de straturi — fiecare strat necesită o trecere separată de blending. Reducerea numărului de straturi accelerează compozitarea liniar.
• Rezoluția straturilor — straturile cu rezoluție înaltă cresc numărul de pixeli procesați. Folosiți dimensiunea minimă posibilă a buffer-elor offscreen.
• Transparența și overdraw — straturile semi-transparente necesită citirea pixelilor subiacenți, ceea ce crește lățimea de bandă.
• CPU compositing — dacă compozitarea este executată pe CPU (software rendering), performanța scade drastic. GPU-compositing este întotdeauna preferat.

GPU Compositing vs CPU Compositing

Dispozitivele mobile moderne execută compozitarea pe GPU prin blocuri specializate de blending. GPU-compositing utilizează blocuri ROP paralele și filtre de textură pentru amestecarea rapidă a pixelilor. CPU-compositing este utilizat doar în cazuri rare (dispozitive vechi, testare).

Optimizarea compositing-ului

Optimizarea compositing-ului — una dintre sarcinile cheie în dezvoltarea interfețelor mobile. Fluiditatea UI (60 FPS) depinde direct de eficiența combinării straturilor.

Metode principale de optimizare

• Minimizarea straturilor — combinarea straturilor statice într-unul singur (layer flattening) prin randare prealabilă.
• Opaque layers — straturile opace nu necesită alpha blending, ceea ce accelerează semnificativ compozitarea.
• Incremental compositing — rerandarea doar a straturilor modificate, nu a întregii scene (utilizat de Core Animation).
• Hardware Composer — utilizarea HWC pentru compozitare hardware fără implicarea GPU-ului.

Instrumente de profilare

Pentru analiza performanței compozitării utilizați: Core Animation Profiler (Xcode Instruments) — arată numărul de straturi și frecvența compozitării; GPU Debugger (Android Studio) — afișează încărcarea GPU-ului și overdraw; Overdraw Visualisation — instrument de debug care arată zonele de rerandare multiplă a pixelilor.