Encoding ng video sa mga mobile app: ano ito, mga codec at parameter

Ano ang video encoding?

Video encoding ay ang proseso ng pag-convert ng uncompressed video signal sa digital format gamit ang compression algorithms. Ang mga algorithm na ipinatupad sa mga video codec ay nag-aalis ng kalabisan na impormasyon sa spatial domain (sa loob ng isang frame) at sa temporal domain (sa pagitan ng magkakasunod na mga frame).

Ang uncompressed video ay isang pagkakasunod-sunod ng mga frame, kung saan ang bawat isa ay nakaimbak bilang isang array ng mga pixel sa RGB o YUV format. Kung walang compression, isang segundo ng 1080p video sa 30 FPS ay nangangailangan ng humigit-kumulang 1.5 GB ng memorya. Ang H.264 codec ay nag-compress ng stream na ito sa 3–5 Mbps, 2500 beses na mas maliit kaysa sa orihinal na volume.

Mga prinsipyo ng video compression

Ang mga video codec ay gumagamit ng dalawang uri ng compression: intra-frame at inter-frame. Intra-frame compression ay inilalapat sa bawat frame nang nakapag-iisa gamit ang mga algorithm na katulad ng JPEG: discrete cosine transform (DCT), quantization, at entropy encoding.

Inter-frame compression ay sinusuri ang pagkakaiba sa pagitan ng magkakasunod na mga frame at nag-e-encode lamang ng mga pagbabago. Kung static ang background, ang codec ay nagpapadala ng kumpletong frame nang isang beses (I-frame), at pagkatapos ay ang pagkakaiba lamang (P at B frames), na makabuluhang binabawasan ang dami ng data para sa mga eksenang may mababang dynamika.

Mga video codec: H.264, H.265, VP9, AV1

Ang pagpili ng video codec ay tumutukoy sa ratio ng kalidad-laki, compatibility sa mga device, at mga bayad sa lisensya. Sa merkado ng mobile app, apat na pangunahing codec ang nangingibabaw: H.264 (AVC), H.265 (HEVC), VP9 at AV1.

H.264 — ang universal na pamantayan

H.264 (AVC — Advanced Video Coding) ay nananatiling pinaka-compatible na video codec: sinusuportahan ito ng lahat ng mobile device, browser at Smart TV mula noong 2005. Ang hardware acceleration ng H.264 decoding ay available kahit sa mga murang device, na ginagawang perpekto ito para sa universal streaming.

Ang pangunahing disbentaha ng H.264 — medyo mababang kahusayan ng compression kumpara sa mga modernong codec. Sa parehong bitrate, ang H.265 at AV1 ay nagbibigay ng kapansin-pansing mas mataas na kalidad, na lalong mahalaga para sa HDR at 4K na nilalaman.

H.265 — kahusayan para sa 4K

H.265 (HEVC — High Efficiency Video Coding) ay nagbibigay ng 40–50% mas mahusay na compression kaysa H.264 na may parehong visual na kalidad. Ito ay nakakamit sa pamamagitan ng mas flexible na paghahati ng frame sa mga bloke (CTU hanggang 64×64 pixels sa halip na 16×16) at pinahusay na mga algorithm ng paghula ng paggalaw.

Ang HEVC ay sinusuportahan sa lahat ng Apple device (simula sa iPhone 6), sa Android (simula sa bersyon 5.0 na may hardware decoding) at sa karamihan ng Smart TV. Ang mga bayad sa lisensya ng HEVC ay mas mataas kaysa H.264 at pinamamahalaan ng dalawang patent pool, na nagpapahirap sa legal na paggamit.

AV1 — ang open standard ng hinaharap

AV1 — video codec na binuo ng Alliance for Open Media (AOM), isang consortium na pinamumunuan ng Google, Netflix, Amazon, Intel at Mozilla. Ang AV1 ay nagbibigay ng 50–60% mas mahusay na compression kaysa H.264 at ganap na libre sa royalty, na ginagawang kaakit-akit para sa mga serbisyo ng streaming.

Ang pangunahing disbentaha ng AV1 — mataas na pagiging kumplikado ng pagtutuos ng encoding. Ang AV1 encoding ay maaaring 5–10 beses na mas mabagal kaysa H.264 sa parehong hardware, bagaman ang hardware decoding ay lumalabas na sa mga device noong 2024–2025 (Snapdragon 8 Gen 3, Apple A17 Pro).

Mga audio codec: AAC, MP3, Opus

Ang mga audio codec sa mga mobile app ay hindi gaanong mahalaga kaysa sa mga video codec. Para sa video streaming, kinakailangan ang audio na may kaunting latency, mataas na kalidad, at compatibility sa MP4 at WebM container. Tatlong pangunahing audio codec ang sumasaklaw sa 99% ng mga mobile streaming app.

AAC — pamantayan ng Apple at YouTube

AAC (Advanced Audio Coding) — ang kahalili ng MP3, binuo ng MPEG noong 1997 at naging standard na audio codec para sa iTunes, YouTube at Android. Ang AAC ay nagbibigay ng parehong kalidad ng MP3 sa 30% mas mababang bitrate at sumusuporta sa multi-channel na audio hanggang 7.1.

Para sa mga mobile app, inirerekomenda ang AAC-LC sa bitrate na 128–192 kbps para sa stereo at AAC-HE para sa mababang bitrate na 32–64 kbps. Ang hardware decoding ng AAC ay available sa lahat ng modernong device, na nagpapaliit sa pagkonsumo ng kuryente.

Opus — modernong audio codec

Opus — open audio codec mula sa IETF (RFC 6716), na nagbibigay ng pinakamahusay na kalidad sa lahat ng audio codec sa bitrate mula 6 hanggang 510 kbps. Pinagsasama ng Opus ang SILK (algorithm para sa pagsasalita) at CELT (para sa musika) at awtomatikong nagpapalipat ng mga mode depende sa nilalaman.

Ginagamit ang Opus sa WebRTC para sa mga video call, sa mga app na Spotify at Discord, at sinusuportahan sa HLS simula sa iOS 11 at Android 5.0. Ang mababang latency ng Opus (5–26 ms kumpara sa 40–100 ms sa AAC) ay ginagawa itong mas pinipiling pagpipilian para sa mga live broadcast at video conference.

Mga parameter ng encoding: bitrate, resolution, FPS

Ang mga parameter ng encoding ay tumutukoy sa huling laki ng file, kalidad ng video, at compatibility sa mga device. Ang developer ng mobile app ay dapat pumili ng pinakamainam na setting para sa bawat uri ng nilalaman: pelikula, sports broadcast, nilalaman ng user.

Bitrate at mga uri nito

Bitrate — ang bilang ng mga bit na ginamit para mag-encode ng isang segundo ng video. Pinagkaiba ang CBR (Constant Bitrate) — pare-parehong bitrate para sa mga live broadcast, VBR (Variable Bitrate) — variable na may target na kalidad para sa archival storage, at ABR (Average Bitrate) — average para sa streaming.

CRF — kontrol ng kalidad

CRF (Constant Rate Factor) — parameter ng encoding sa x264 at x265 na nagtatakda ng target na kalidad sa halip na fixed bitrate. Ang CRF scale mula 0 (lossless) hanggang 51 (pinakamasamang kalidad), kung saan 18–28 ang working range. Para sa mga mobile app, inirerekomenda ang CRF 23 para sa x264 at CRF 25 para sa x265.

Ang CRF 18–20 ay nagbibigay ng mataas na kalidad para sa presentation content at offline viewing. Ang CRF 24–28 ay angkop para sa streaming at nilalaman ng user, kung saan ang laki ng file ay mas mahalaga kaysa sa absolute na kalidad.

Mga profile at antas ng codec

Ang H.264 standard ay tumutukoy ng mga profile (Baseline, Main, High) at mga antas (Level 1–5.2) na naglilimita sa maximum na mga parameter ng video. Ang Baseline Profile ay compatible sa lahat ng device ngunit hindi sumusuporta sa mga B frame. Ang High Profile ay nagbibigay ng maximum na kalidad at ginagamit para sa 1080p na nilalaman.

Para sa 4K streaming, kinakailangan ang Level 5.1 at mas mataas, na sinusuportahan ng karamihan ng mga mobile device mula noong 2018. Ang antas ng codec ay tumutukoy sa maximum na resolution, bitrate, at laki ng buffer, na ginagarantiyahan ang tamang decoding sa lahat ng sertipikadong device.

Encoding para sa streaming

Encoding para sa streaming ay naiiba sa archival encoding sa pangangailangang lumikha ng maramihang variant ng kalidad (ABR ladder) at pag-optimize para sa network transmission. Ang mga provider ng nilalaman ay gumagamit ng real-time transcoding o paunang encoding para sa VOD.

Ang tipikal na ABR set para sa mga mobile app ay may kasamang 4–6 na variant: mula 144p (200 kbps) para sa mahina na network hanggang 1080p (8 Mbps) para sa Wi-Fi. Mga inirerekomendang resolusyon: 144p, 240p, 360p, 480p, 720p, 1080p. Para sa 4K na nilalaman, idinadagdag ang 1440p at 2160p.

Transcoding sa mobile device

val mediaCodec = MediaCodec.createEncoderByType(
    MediaFormat.MIMETYPE_VIDEO_AVC
)
val format = MediaFormat.createVideoFormat(
    MediaFormat.MIMETYPE_VIDEO_AVC,
    1280, 720
).apply {
    setInteger(MediaFormat.KEY_BIT_RATE, 3_000_000)
    setInteger(MediaFormat.KEY_FRAME_RATE, 30)
    setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2)
    setInteger(MediaFormat.KEY_PROFILE,
        MediaCodecInfo.CodecProfileLevel.AVCProfileHigh)
    setInteger(MediaFormat.KEY_LEVEL,
        MediaCodecInfo.CodecProfileLevel.AVCLevel31)
}
mediaCodec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

Encoding para sa live broadcast

Para sa mga live broadcast, mahalaga ang mababang latency. Ang mga setting ng encoding ay dapat mabawasan ang input/output latency ng codec: inirerekomenda ang laki ng GOP na 1–2 segundo (bawat 30–60 frame), ang mga B frame ay naka-off o minimized, para sa H.264 ginagamit ang Baseline Profile.

Ang mga modernong protocol para sa mababang latency — LL-HLS at CMAF-Low Latency — ay nangangailangan ng fragmented encoding na may mga segment na 1–2 segundo at kakayahang bahagyang mag-load (Partial Segments). Ang codec ay dapat sumuporta sa moof-box sa bawat segment para sa fragmented MP4.

Pag-optimize ng encoding pipeline

• Hardware encoding sa pamamagitan ng MediaCodec (Android) o VideoToolbox (iOS) ay mandatory para sa real-time.
• Multi-thread encoding sa server gamit ang libx264/libx265 sa ultrafast o veryfast mode.
• Encoding presets: placebo — pinakamasama para sa VOD (maximum compression), ultrafast — para sa live broadcast.
• Two-pass VBR — ginustong mode para sa VOD, na nagbibigay ng predictable na laki at kalidad.