Offscreen Rendering: шта је, технике и примена у апликацијама

Шта је Offscreen Rendering?

Offscreen Rendering — је метода рендеровања графичког садржаја у посредни буфер у видео меморији, а не у главни буфер оквира (framebuffer) који се приказује на екрану. Резултат ванекранског рендеровања се чува у текстури или renderbuffer-у.

Главна сврха offscreen rendering је вишепролазно рендеровање (multi-pass rendering). Сложена сцена се подељује на више пролаза: прво се сцена рендерује у текстуру (offscreen), затим се та текстура користи као улазни подаци за следећи пролаз, и тако даље до добијања коначне слике. Овакав приступ омогућава реализацију ефеката који су немогући у једном пролазу.

Framebuffer Object (FBO)

Кључни механизам ванекранског рендеровања у OpenGL ES је Framebuffer Object (FBO). FBO је контејнер на који се могу прикачити слике текстура или renderbuffer објекти. Након повезивања FBO, сви наредни налози за рендеровање се усмеравају ка повезаној текстури, а не ка екрану.

Како ради Offscreen Rendering?

Offscreen Rendering се реализује кроз стварање засебног фрејмбуфер објекта, прикачивање текстуре или renderbuffer-а на њега, пребацивање контекста рендеровања на овај FBO и извршавање наредби за цртање. Након завршетка пролаза, контекст се враћа на главни framebuffer.

Типичан циклус offscreen rendering

Процес се састоји од три корака: стварање FBO и прикачивање текстуре — рендеровање сцене у offscreen текстуру — коришћење добијене текстуре у следећем пролазу. GL_COLOR_ATTACHMENT0 одређује у коју текстуру боје ће се вршити рендеровање.

// Креирање FBO за ванекранско рендеровање (OpenGL ES 3.0)
GLuint fbo, offscreenTex;
glGenFramebuffers(1, &fbo);
glGenTextures(1, &offscreenTex);
glBindTexture(GL_TEXTURE_2D, offscreenTex);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA,
               width, height, 0,
               GL_RGBA, GL_UNSIGNED_BYTE, NULL);
glBindFramebuffer(GL_FRAMEBUFFER, fbo);
glFramebufferTexture2D(GL_FRAMEBUFFER),
    GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D,
    offscreenTex, 0);

Технике ванекранског рендеровања

Offscreen Rendering се користи за широк спектар графичких ефеката. Свака техника захтева један или више ванекранских пролаза и одређену конфигурацију FBO.

Render-to-Texture (RTT)

Основна техника у којој се резултат рендеровања чува у текстури за касније коришћење. Render-to-Texture се користи за стварање мини-мапа, текстура динамичких објеката и претходне визуелизације сложених материјала.

Вишепролазно рендеровање (Multi-pass)

Сложени ефекти (HDR, bloom, depth of field) захтевају више узастопних пролаза. Сваки пролаз рендерује сцену у offscreen текстуру, примењује филтер и преноси резултат следећем пролазу. Овакав приступ омогућава акумулацију ефеката без губитка квалитета коначне слике.

Мапе сенки (Shadow Mapping)

Shadow Mapping — класичан пример коришћења offscreen rendering. Сенка се ствара у два пролаза: прво се сцена рендерује из угла извора светлости у текстуру дубине (offscreen), затим се при главном рендеровању сваки фрагмент пореди са овом мапом дубине да би се утврдило да ли се налази у сенци.

Процес генерисања сенки

Први пролаз: камера се поставља у позицију извора светлости, сцена се рендерује у offscreen буфер, записујући само дубину (depth) у текстуру. Други пролаз: главно рендеровање са провером сваког фрагмента — ако је његова дубина већа од вредности у мапи дубине, фрагмент се засеньује.

// Fragment Shader за мапирање сенки
in vec4 vShadowCoord;
uniform sampler2D uShadowMap;

float calcShadow(vec4 coord) {
    vec3 uvw = coord.xyz / coord.w;
    float depth = texture(uShadowMap, uvw.xy).r;
    return (uvw.z > depth + 0.005) ? 0.3 : 1.0;
}

Перформансе offscreen rendering

Offscreen Rendering додаје додатне GPU пролазе, што повећава укупно рачунарско оптерећење и потрошњу енергије. У мобилном развоју ово је посебно критично: свако пребацивање FBO захтева ресетовање пипејна (pipeline flush) и додатно време.

Фактори перформанси

• Број пролаза — сваки додатни пролаз рендерује целу сцену, дуплирајући број обрађених врхова и фрагмената.
• Резолуција offscreen текстуре — избор превисоке резолуције повећава оптерећење на memory bandwidth.
• Пребацивање FBO — честа промена framebuffer објекта иззива застој пипејна и смањује искоришћеност GPU.

Оптимизација offscreen rendering

За мобилне уређаје се препоручује: коришћење renderbuffer уместо текстуре ако није потребно читање резултата (depth-only pass); избор минимално потребне резолуције offscreen текстура; обједињавање пролаза где је могуће кроз MRT (Multiple Render Targets).

Примери кода Offscreen Rendering

Offscreen Rendering на различитим платформама се реализује кроз сопствене API-је. Размотримо примере за OpenGL ES и Apple Metal.

Пример на OpenGL ES 3.0: рендеровање у текстуру

// Подешавање FBO и рендеровање сцене у текстуру
glBindFramebuffer(GL_FRAMEBUFFER, fbo);
glViewport(0, 0, texWidth, texHeight);
glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
glUseProgram(offscreenProgram);
glBindVertexArray(sceneVAO);
glDrawElements(GL_TRIANGLES, indexCount, GL_UNSIGNED_SHORT, 0);
// Враћање на подразумевани framebuffer
glBindFramebuffer(GL_FRAMEBUFFER, 0);

Пример на Metal (iOS)

// Metal: offscreen пролаз рендеровања у текстуру
MTLRenderPassDescriptor passDesc = [MTLRenderPassDescriptor renderPassDescriptor];
passDesc.colorAttachments[0].texture = offscreenTexture;
passDesc.colorAttachments[0].loadAction = MTLLoadActionClear;
passDesc.colorAttachments[0].clearColor =
    MTLClearColorMake(0.0, 0.0, 0.0, 0.0);

id<MTLCommandBuffer> cmdBuffer = [commandQueue commandBuffer];
id<MTLRenderCommandEncoder> enc =
    [cmdBuffer renderCommandEncoderWithDescriptor:passDesc];
[enc drawIndexedPrimitives:MTLPrimitiveTypeTriangle
             indexCount:indexCount
              indexType:MTLIndexTypeUInt16
            indexBuffer:indexBuffer
      indexBufferOffset:0];
[enc endEncoding];