Compositing: vad är det, lager och funktionsprincip

Vad är compositing?

Compositing — är det sista steget i grafisk pipeline, där alla separat renderade lager (3D-scener, UI-element, video, systemgränssnitt) kombineras till en bild för visning på skärmen. Varje lager kan ha sin egen färg, genomskinlighet (alpha), position och ordning för påläggning.

I sammanhanget av mobilutveckling är compositing viktigt för användargränssnittet: fönster, knappar, text, ikoner — alla dessa element kompositeras till en scen. Compositingsystemet hanterar ritordning (z-order), korrekt påläggning av halvgenomskinliga element och övergångsanimationer mellan UI-tillstånd.

Compositing i grafisk pipeline

I grafisk pipeline sker compositing efter att alla shader-passager och rasterisering är slutförda. GPU hämtar färdiga lager från framebuffers, tillämpar blandningsoperationer och skriver resultatet till huvudrambufferten (front buffer) för sändning till displayen.

Hur fungerar compositing?

Compositing använder pixel-för-pixel-blandning (blending) av färger från olika lager. Varje pixel i utdatabilden beräknas baserat på färgerna hos pixlar från de pålagda lagren med hänsyn till genomskinlighet (alfa-kanal) och valt blandningsläge.

Alfa-kanal och genomskinlighet

Varje lager innehåller en alfa-kanal (den fjärde komponenten i RGBA-färg) som bestämmer dess opacitet. Alpha = 1.0 — helt ogenomskinlig, alpha = 0.0 — helt genomskinlig. Alpha blending beräknar pixelfärgen som en viktad summa av färgerna från det främre (source) och bakre (destination) lagret: result = source * alpha + dest * (1 - alpha).

Ritordning (Målarens algoritm)

Compositing utförs i ordning från det mest avlägsna lagret till det närmaste (back-to-front). Först renderas bakgrundslagret, sedan läggs varje efterföljande lager ovanpå det föregående med hänsyn till dess genomskinlighet. Z-order bestämmer vilket lager som är ovanpå och kommer att täcka underliggande lager.

Compositing-algoritmer

Compositing stöder olika blandningslägen (blend modes) som bestämmer hur lagrens färger kombineras. Varje läge ger en annan visuell effekt och har sina egna beräkningskostnader.

Premultiplied Alpha

I premultiplied alpha-läget lagras färgkanaler redan multiplicerade med alfa-kanalen (RGB × A). Detta eliminerar behovet av multiplikation vid varje blandningsoperation, vilket påskyndar compositing. Premultiplied alpha — standardformat för GPU-compositing i iOS Core Animation och Android HWUI.

Compositing i mobila operativsystem

Varje mobilt operativsystem har sitt eget compositingsystem, optimerat för sin hårdvaruplattform. Compositing i mobila operativsystem ansvarar för rendering av hela användargränssnittet.

iOS: Core Animation + Metal

I iOS hanteras compositing av Core Animation — ett högnivåsystem som arbetar ovanpå Metal eller OpenGL ES. Core Animation skapar ett layer tree (lagerträd) som sedan kompositeras till den slutliga bilden. Core Animation upptäcker automatiskt vilka lager som har ändrats och ritar bara om dem (inkrementell compositing), vilket minimerar GPU-belastningen.

Android: SurfaceFlinger + HWUI

I Android utförs compositing av SurfaceFlinger — en systemtjänst som kombinerar ytor (surfaces) från olika applikationer och systemgränssnittet. SurfaceFlinger använder HWC (Hardware Composer) för att överföra en del av compositingarbetet till dedikerad hårdvara hos displaykontrollern.

Prestanda för compositing

Prestanda för compositing — en vanlig flaskhals i mobilapplikationer, särskilt vid komplexa animationer och påläggning av flera halvgenomskinliga lager. Varje extra lager kräver läsning, blandning och skrivning av pixlar i minnet.

Faktorer som påverkar prestandan

• Antal lager — varje lager kräver en separat blandningspassage. Minskning av antalet lager påskyndar compositing linjärt.
• Upplösning på lager — lager med hög upplösning ökar antalet behandlade pixlar. Använd minimal möjlig storlek på offscreen-buffertar.
• Genomskinlighet och overdraw — halvgenomskinliga lager kräver läsning av underliggande pixlar, vilket ökar bandbredden.
• CPU compositing — om compositing utförs på CPU (software rendering), sjunker prestandan dramatiskt. GPU-compositing är alltid att föredra.

GPU Compositing vs CPU Compositing

Moderna mobila enheter utför compositing på GPU via specialiserade blandningsblock. GPU-compositing använder parallella ROP-block och texturfilter för snabb pixelblandning. CPU-compositing används endast i sällsynta fall (gamla enheter, testning).

Optimering av compositing

Optimering av compositing — en av de viktigaste uppgifterna vid utveckling av mobila gränssnitt. Smidigheten i UI (60 FPS) beror direkt på effektiviteten av lagerkombination.

Huvudsakliga optimeringsmetoder

• Minimering av lager — sammanslagning av statiska lager till ett (layer flattening) genom förrenderering.
• Opaque layers — ogenomskinliga lager kräver inte alpha blending, vilket avsevärt påskyndar compositing.
• Inkrementell compositing — omritning endast av ändrade lager, inte hela scenen (används av Core Animation).
• Hardware Composer — användning av HWC för hårdvarucompositing utan GPU.

Profileringsverktyg

För analys av compositing-prestanda använd: Core Animation Profiler (Xcode Instruments) — visar antalet lager och compositing-frekvens; GPU Debugger (Android Studio) — visar GPU-belastning och overdraw; Overdraw Visualisation — felsökningsverktyg som visar områden med flera pixelomritningar.