Offscreen Rendering: co to je, techniky a použití v aplikacích

Co je Offscreen Rendering?

Offscreen Rendering — je metoda vykreslování grafického obsahu do mezipaměti ve video paměti, nikoli do hlavního framebufferu, který se zobrazuje na obrazovce. Výsledek mimoreálního renderování je uložen v textuře nebo renderbufferu.

Hlavním cílem offscreen rendering je víceprůchodové renderování (multi-pass rendering). Složitá scéna je rozdělena do několika průchodů: nejprve se scéna vykreslí do textury (offscreen), poté se tato textura použije jako vstup pro další průchod, a tak dále až do získání výsledného obrazu. Tento přístup umožňuje efekty, které jsou v jednom průchodu nemožné.

Framebuffer Object (FBO)

Klíčovým mechanismem mimoreálního renderování v OpenGL ES je Framebuffer Object (FBO). FBO je kontejner, ke kterému lze připojit texturové obrázky nebo objekty renderbuffer. Po připojení FBO jsou všechny následující příkazy renderování směrovány k připojené textuře, nikoli na obrazovku.

Jak funguje Offscreen Rendering?

Offscreen Rendering se realizuje vytvořením samostatného framebuffer objektu, připojením textury nebo renderbufferu k němu, přepnutím kontextu renderování na tento FBO a provedením příkazů kreslení. Po dokončení průchodu se kontext přepne zpátky na hlavní framebuffer.

Typický cyklus offscreen rendering

Proces se skládá ze tří kroků: vytvoření FBO a připojení textury — vykreslení scény do offscreen textury — použití získané textury v dalším průchodu. GL_COLOR_ATTACHMENT0 určuje, do které barevné textury bude vykreslováno.

// Vytvoření FBO pro offscreen rendering (OpenGL ES 3.0)
GLuint fbo, offscreenTex;
glGenFramebuffers(1, &fbo);
glGenTextures(1, &offscreenTex);
glBindTexture(GL_TEXTURE_2D, offscreenTex);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA,
               width, height, 0,
               GL_RGBA, GL_UNSIGNED_BYTE, NULL);
glBindFramebuffer(GL_FRAMEBUFFER, fbo);
glFramebufferTexture2D(GL_FRAMEBUFFER),
    GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D,
    offscreenTex, 0);

Techniky mimoreálního renderování

Offscreen Rendering se používá pro široké spektrum grafických efektů. Každá technika vyžaduje jeden nebo více mimoreálních průchodů a určitou konfiguraci FBO.

Render-to-Texture (RTT)

Základní technika, při které je výsledek renderování uložen do textury pro pozdější použití. Render-to-Texture se používá pro vytváření mini-map, textur dynamických objektů a předběžné vizualizace složitých materiálů.

Víceprůchodové renderování (Multi-pass)

Složité efekty (HDR, bloom, hloubka ostrosti) vyžadují několik po sobě jdoucích průchodů. Každý průchod vykresluje scénu do offscreen textury, aplikuje filtr a předává výsledek dalšímu průchodu. Tento přístup umožňuje kumulovat efekty bez ztráty kvality výsledného obrazu.

Mapy stínů (Shadow Mapping)

Shadow Mapping — klasický příklad použití offscreen rendering. Stín se vytváří ve dvou průchodech: nejprve se scéna vykreslí z pohledu zdroje světla do depth textury (offscreen), poté se při hlavním renderování každý fragment porovná s touto depth mapou, aby se určilo, zda je ve stínu.

Proces generování stínů

První průchod: kamera se umístí do pozice zdroje světla, scéna se vykreslí do offscreen bufferu, zapisuje se pouze hloubka (depth) do textury. Druhý průchod: hlavní renderování s kontrolou každého fragmentu — pokud je jeho hloubka větší než hodnota v depth mapě, fragment je zastíněn.

// Fragment Shader pro mapování stínů
in vec4 vShadowCoord;
uniform sampler2D uShadowMap;

float calcShadow(vec4 coord) {
    vec3 uvw = coord.xyz / coord.w;
    float depth = texture(uShadowMap, uvw.xy).r;
    return (uvw.z > depth + 0.005) ? 0.3 : 1.0;
}

Výkon offscreen rendering

Offscreen Rendering přidává další průchody GPU, což zvyšuje celkovou výpočetní zátěž a spotřebu energie. V mobilním vývoji je to obzvlášť kritické: každé přepnutí FBO vyžaduje reset pipeline (pipeline flush) a další čas.

Faktory výkonu

• Počet průchodů — každý další průchod vykresluje celou scénu, čímž se zdvojnásobuje počet zpracovávaných vrcholů a fragmentů.
• Rozlišení offscreen textury — volba příliš vysokého rozlišení zvyšuje zátěž na propustnost paměti.
• Přepínání FBO — častá změna framebuffer objektu způsobuje zastavení pipeline a snižuje využití GPU.

Optimalizace offscreen rendering

Pro mobilní zařízení se doporučuje: používat renderbuffer místo textury, pokud není vyžadováno čtení výsledku (pouze depth průchod); zvolit minimálně nutné rozlišení offscreen textur; spojovat průchody tam, kde je to možné, pomocí MRT (Multiple Render Targets).

Příklady kódu Offscreen Rendering

Offscreen Rendering na různých platformách se realizuje prostřednictvím vlastních API. Podívejme se na příklady pro OpenGL ES a Apple Metal.

Příklad na OpenGL ES 3.0: vykreslení do textury

// Nastavení FBO a vykreslení scény do textury
glBindFramebuffer(GL_FRAMEBUFFER, fbo);
glViewport(0, 0, texWidth, texHeight);
glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
glUseProgram(offscreenProgram);
glBindVertexArray(sceneVAO);
glDrawElements(GL_TRIANGLES, indexCount, GL_UNSIGNED_SHORT, 0);
// Přepnutí zpět na výchozí framebuffer
glBindFramebuffer(GL_FRAMEBUFFER, 0);

Příklad na Metal (iOS)

// Metal: offscreen průchod vykreslení do textury
MTLRenderPassDescriptor passDesc = [MTLRenderPassDescriptor renderPassDescriptor];
passDesc.colorAttachments[0].texture = offscreenTexture;
passDesc.colorAttachments[0].loadAction = MTLLoadActionClear;
passDesc.colorAttachments[0].clearColor =
    MTLClearColorMake(0.0, 0.0, 0.0, 0.0);

id<MTLCommandBuffer> cmdBuffer = [commandQueue commandBuffer];
id<MTLRenderCommandEncoder> enc =
    [cmdBuffer renderCommandEncoderWithDescriptor:passDesc];
[enc drawIndexedPrimitives:MTLPrimitiveTypeTriangle
             indexCount:indexCount
              indexType:MTLIndexTypeUInt16
            indexBuffer:indexBuffer
      indexBufferOffset:0];
[enc endEncoding];