Offscreen Rendering: nó là gì, các kỹ thuật và ứng dụng trong ứng dụng

Offscreen Rendering là gì?

Offscreen Rendering là một phương pháp kết xuất nội dung đồ họa vào bộ đệm trung gian trong bộ nhớ video, thay vì vào framebuffer chính được hiển thị trên màn hình. Kết quả của kết xuất ngoài màn hình được lưu vào texture hoặc renderbuffer.

Mục đích chính của kết xuất ngoài màn hình là kết xuất đa lượt (multi-pass rendering). Một cảnh phức tạp được chia thành nhiều lượt: đầu tiên cảnh được kết xuất vào texture (offscreen), sau đó texture này được sử dụng làm đầu vào cho lượt tiếp theo, và cứ thế cho đến khi thu được hình ảnh cuối cùng. Cách tiếp cận này cho phép đạt được các hiệu ứng không thể thực hiện trong một lượt duy nhất.

Framebuffer Object (FBO)

Cơ chế chính của kết xuất ngoài màn hình trong OpenGL ES là Framebuffer Object (FBO). FBO là một vùng chứa mà có thể đính kèm hình ảnh texture hoặc đối tượng renderbuffer. Sau khi liên kết FBO, tất cả các lệnh kết xuất tiếp theo sẽ được chuyển đến texture đã đính kèm, thay vì màn hình.

Offscreen Rendering hoạt động như thế nào?

Offscreen Rendering được thực hiện bằng cách tạo một đối tượng framebuffer riêng, đính kèm texture hoặc renderbuffer vào nó, chuyển ngữ cảnh kết xuất sang FBO này và thực thi các lệnh vẽ. Sau khi lượt hoàn tất, ngữ cảnh được chuyển trở lại framebuffer chính.

Chu trình kết xuất ngoài màn hình điển hình

Quy trình bao gồm ba bước: tạo FBO và đính kèm texture — kết xuất cảnh vào texture ngoài màn hình — sử dụng texture kết quả trong lượt tiếp theo. GL_COLOR_ATTACHMENT0 xác định texture màu nào sẽ được kết xuất.

// Tạo FBO cho kết xuất ngoài màn hình (OpenGL ES 3.0)
GLuint fbo, offscreenTex;
glGenFramebuffers(1, &fbo);
glGenTextures(1, &offscreenTex);
glBindTexture(GL_TEXTURE_2D, offscreenTex);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA,
               width, height, 0,
               GL_RGBA, GL_UNSIGNED_BYTE, NULL);
glBindFramebuffer(GL_FRAMEBUFFER, fbo);
glFramebufferTexture2D(GL_FRAMEBUFFER),
    GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D,
    offscreenTex, 0);

Các kỹ thuật kết xuất ngoài màn hình

Offscreen Rendering được sử dụng cho nhiều hiệu ứng đồ họa. Mỗi kỹ thuật yêu cầu một hoặc nhiều lượt ngoài màn hình và cấu hình FBO cụ thể.

Render-to-Texture (RTT)

Một kỹ thuật cơ bản trong đó kết quả kết xuất được lưu vào texture để sử dụng sau. Render-to-Texture được sử dụng để tạo bản đồ nhỏ, texture cho đối tượng động và trực quan hóa trước các vật liệu phức tạp.

Kết xuất đa lượt (Multi-pass)

Các hiệu ứng phức tạp (HDR, bloom, depth of field) yêu cầu nhiều lượt tuần tự. Mỗi lượt kết xuất cảnh vào texture ngoài màn hình, áp dụng bộ lọc và chuyển kết quả cho lượt tiếp theo. Cách tiếp cận này cho phép tích lũy hiệu ứng mà không mất chất lượng hình ảnh cuối cùng.

Shadow Mapping (Bản đồ bóng)

Shadow Mapping là một ví dụ kinh điển về việc sử dụng kết xuất ngoài màn hình. Bóng được tạo trong hai lượt: đầu tiên cảnh được kết xuất từ góc nhìn của nguồn sáng vào texture độ sâu (offscreen), sau đó trong quá trình kết xuất chính, mỗi mảnh (fragment) được so sánh với bản đồ độ sâu này để xác định xem nó có nằm trong bóng hay không.

Quy trình tạo bóng

Lượt đầu tiên: camera được đặt tại vị trí nguồn sáng, cảnh được kết xuất vào bộ đệm ngoài màn hình, chỉ ghi độ sâu vào texture. Lượt thứ hai: kết xuất chính với kiểm tra từng mảnh — nếu độ sâu của nó lớn hơn giá trị trong bản đồ độ sâu, mảnh đó sẽ bị đổ bóng.

// Fragment Shader cho shadow mapping
in vec4 vShadowCoord;
uniform sampler2D uShadowMap;

float calcShadow(vec4 coord) {
    vec3 uvw = coord.xyz / coord.w;
    float depth = texture(uShadowMap, uvw.xy).r;
    return (uvw.z > depth + 0.005) ? 0.3 : 1.0;
}

Hiệu suất kết xuất ngoài màn hình

Offscreen Rendering thêm các lượt GPU bổ sung, làm tăng tải tính toán tổng thể và mức tiêu thụ điện năng. Trong phát triển di động, điều này đặc biệt quan trọng: mỗi lần chuyển đổi FBO yêu cầu xả pipeline và thời gian bổ sung.

Các yếu tố hiệu suất

• Số lượng lượt — mỗi lượt bổ sung kết xuất toàn bộ cảnh, nhân đôi số lượng đỉnh và mảnh được xử lý.
• Độ phân giải texture ngoài màn hình — chọn độ phân giải quá cao làm tăng tải băng thông bộ nhớ.
• Chuyển đổi FBO — thay đổi đối tượng framebuffer thường xuyên gây ra tắc nghẽn pipeline và giảm mức sử dụng GPU.

Tối ưu hóa kết xuất ngoài màn hình

Đối với thiết bị di động, khuyến nghị: sử dụng renderbuffer thay vì texture nếu không cần đọc kết quả (chỉ lượt depth); chọn độ phân giải tối thiểu cần thiết cho texture ngoài màn hình; kết hợp các lượt khi có thể thông qua MRT (Multiple Render Targets).

Ví dụ mã Offscreen Rendering

Offscreen Rendering trên các nền tảng khác nhau được triển khai thông qua API riêng của chúng. Hãy xem xét các ví dụ cho OpenGL ES và Apple Metal.

Ví dụ OpenGL ES 3.0: kết xuất vào texture

// Thiết lập FBO và kết xuất cảnh vào texture
glBindFramebuffer(GL_FRAMEBUFFER, fbo);
glViewport(0, 0, texWidth, texHeight);
glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
glUseProgram(offscreenProgram);
glBindVertexArray(sceneVAO);
glDrawElements(GL_TRIANGLES, indexCount, GL_UNSIGNED_SHORT, 0);
// Chuyển trở lại framebuffer mặc định
glBindFramebuffer(GL_FRAMEBUFFER, 0);

Ví dụ Metal (iOS)

// Metal: lượt kết xuất ngoài màn hình vào texture
MTLRenderPassDescriptor passDesc = [MTLRenderPassDescriptor renderPassDescriptor];
passDesc.colorAttachments[0].texture = offscreenTexture;
passDesc.colorAttachments[0].loadAction = MTLLoadActionClear;
passDesc.colorAttachments[0].clearColor =
    MTLClearColorMake(0.0, 0.0, 0.0, 0.0);

id<MTLCommandBuffer> cmdBuffer = [commandQueue commandBuffer];
id<MTLRenderCommandEncoder> enc =
    [cmdBuffer renderCommandEncoderWithDescriptor:passDesc];
[enc drawIndexedPrimitives:MTLPrimitiveTypeTriangle
             indexCount:indexCount
              indexType:MTLIndexTypeUInt16
            indexBuffer:indexBuffer
      indexBufferOffset:0];
[enc endEncoding];