Compositing: bu nədir, təbəqələr və iş prinsipi

Compositing nədir?

Compositing — qrafik konveyerinin son mərhələsidir, burada ayrıca render edilmiş bütün təbəqələr (3D səhnələr, UI elementləri, video, sistem interfeysi) ekrana çıxarmaq üçün bir təsvirdə birləşdirilir. Hər təbəqənin öz rəngi, şəffaflığı (alpha), mövqeyi və üst-üstə qoyulma ardıcıllığı ola bilər.

Mobil inkişaf kontekstində compositing istifadəçi interfeysi üçün vacibdir: pəncərələr, düymələr, mətn, ikonlar — bütün bu elementlər bir səhnədə kompozit edilir. Compositing sistemi çəkmə ardıcıllığını (z-order), yarı şəffaf elementlərin düzgün üst-üstə qoyulmasını və UI vəziyyətləri arasında keçid animasiyasını idarə edir.

Qrafik konveyerdə compositing

Qrafik konveyerdə compositing bütün şeyder keçidləri və rastrlaşdırma tamamlandıqdan sonra baş verir. GPU hazır təbəqələri framebuffer-lərdən götürür, blending əməliyyatlarını tətbiq edir və nəticəni displeyə göndərmək üçün əsas çərçivə buferinə (front buffer) yazır.

Compositing necə işləyir?

Compositing müxtəlif təbəqələrdən rənglərin piksel-piksel qarışdırılmasından (blending) istifadə edir. Çıxış təsvirinin hər pikseli üst-üstə qoyulan təbəqələrdən piksellərin rəngləri əsasında şəffaflıq (alfa kanalı) və seçilmiş qarışdırma rejimi nəzərə alınmaqla hesablanır.

Alfa kanalı və şəffaflıq

Hər təbəqədə onun qeyri-şəffaflığını təyin edən alfa kanalı (RGBA rənginin dördüncü komponenti) var. Alpha = 1,0 — tam qeyri-şəffaf, alpha = 0,0 — tam şəffaf. Alpha blending piksel rəngini ön (source) və arxa (destination) təbəqələrin rənglərinin çəkili cəmi kimi hesablayır: result = source * alpha + dest * (1 - alpha).

Çəkmə ardıcıllığı (Rəssam Alqoritmi)

Compositing ən uzaq təbəqədən ən yaxına (back-to-front) ardıcıllıqla yerinə yetirilir. Əvvəlcə fon təbəqəsi render edilir, sonra hər növbəti təbəqə şəffaflığı nəzərə alınmaqla əvvəlkinin üzərinə qoyulur. Z-order hansı təbəqənin yuxarıda olduğunu və aşağıdakı təbəqələri örtəcəyini müəyyən edir.

Compositing alqoritmləri

Compositing təbəqə rənglərinin necə birləşdiriləcəyini təyin edən müxtəlif qarışdırma rejimlərini (blend modes) dəstəkləyir. Hər rejim fərqli vizual effekt verir və öz hesablama xərclərinə malikdir.

Premultiplied Alpha

Premultiplied alpha rejimində rəng kanalları artıq alfa kanalına vurulmuş şəkildə saxlanılır (RGB × A). Bu, hər blending əməliyyatında vurma ehtiyacını aradan qaldırır, compositing-i sürətləndirir. Premultiplied alpha — iOS Core Animation və Android HWUI-da GPU-compositing üçün standart formatdır.

Mobil OS-lərdə compositing

Hər bir mobil əməliyyat sisteminin öz aparat platforması üçün optimallaşdırılmış compositing sistemi var. Compositing mobil OS-lərdə bütün istifadəçi interfeysinin render edilməsinə cavabdehdir.

iOS: Core Animation + Metal

iOS-da compositing-i Core Animation idarə edir — Metal və ya OpenGL ES üzərində işləyən yüksək səviyyəli sistem. Core Animation layer tree (təbəqə ağacı) yaradır, sonra bu son təsvirdə kompozit edilir. Core Animation hansı təbəqələrin dəyişdiyini avtomatik müəyyən edir və yalnız onları yenidən çəkir (incremental compositing), bu da GPU yükünü minimuma endirir.

Android: SurfaceFlinger + HWUI

Android-də compositing müxtəlif tətbiqlərdən və sistem interfeysindən səthləri (surfaces) birləşdirən sistem xidməti olan SurfaceFlinger tərəfindən yerinə yetirilir. SurfaceFlinger compositing-in bir hissəsini displey kontrollerinin xüsusi aparatına ötürmək üçün HWC (Hardware Composer) istifadə edir.

Compositing-in performansı

Compositing performansı — mobil tətbiqlərdə tez-tez rast gəlinən darboğazdır, xüsusən mürəkkəb animasiyalar və çoxsaylı yarı şəffaf təbəqələrin üst-üstə qoyulması zamanı. Hər əlavə təbəqə yaddaşda piksellərin oxunması, qarışdırılması və yazılmasını tələb edir.

Performansa təsir edən amillər

• Təbəqələrin sayı — hər təbəqə ayrı blending keçidi tələb edir. Təbəqələrin sayını azaltmaq compositing-i xətti olaraq sürətləndirir.
• Təbəqələrin rezolyusiyası — yüksək rezolyusiyalı təbəqələr işlənən piksellərin sayını artırır. Offscreen buferlərinin mümkün olan minimum ölçüsündən istifadə edin.
• Şəffaflıq və overdraw — yarı şəffaf təbəqələr altda qalan piksellərin oxunmasını tələb edir, bu da bant genişliyini artırır.
• CPU compositing — compositing CPU-da yerinə yetirilərsə (software rendering), performans kəskin şəkildə düşür. GPU-compositing həmişə üstünlük təşkil edir.

GPU Compositing vs CPU Compositing

Müasir mobil cihazlar compositing-i ixtisaslaşmış blending blokları vasitəsilə GPU-da yerinə yetirir. GPU-compositing piksellərin sürətli qarışdırılması üçün paralel ROP bloklarından və tekstur filtrlərindən istifadə edir. CPU-compositing yalnız nadir hallarda (köhnə cihazlar, test etmə) istifadə olunur.

Compositing-in optimallaşdırılması

Compositing-in optimallaşdırılması — mobil interfeyslərin hazırlanmasında əsas vəzifələrdən biridir. UI-nin hamarlığı (60 FPS) birbaşa təbəqələrin birləşdirilməsinin səmərəliliyindən asılıdır.

Əsas optimallaşdırma metodları

• Təbəqələrin minimuma endirilməsi — statik təbəqələrin öncədən render vasitəsilə bir təbəqədə birləşdirilməsi (layer flattening).
• Opaque layers — qeyri-şəffaf təbəqələr alpha blending tələb etmir, bu da compositing-i əhəmiyyətli dərəcədə sürətləndirir.
• Incremental compositing — bütün səhnənin deyil, yalnız dəyişmiş təbəqələrin yenidən çəkilməsi (Core Animation tərəfindən istifadə olunur).
• Hardware Composer — GPU-nun iştirakı olmadan aparat compositing-i üçün HWC-dən istifadə.

Profilinq alətləri

Compositing performansını təhlil etmək üçün istifadə edin: Core Animation Profiler (Xcode Instruments) — təbəqələrin sayını və compositing tezliyini göstərir; GPU Debugger (Android Studio) — GPU yükünü və overdraw-ı göstərir; Overdraw Visualisation — piksellərin çoxsaylı yenidən çəkilmə sahələrini göstərən debug aləti.