Decodificarea hardware: ce este, principiul de funcționare și avantaje

Ce este decodificarea hardware?

Hardware decoding — este procesul de decomprimare a datelor media executat nu pe CPU-ul universal, ci pe circuite integrate specializate integrate în sistemul-pe-chip (SoC). Astfel de blocuri se numesc decodoare video sau VPU (Video Processing Unit) și reprezintă acceleratoare ASIC optimizate pentru algoritmi specifici de compresie.

SoC-urile mobile moderne conțin blocuri hardware separate pentru fiecare codec popular. De exemplu, cipul Apple A17 Pro include decodoare pentru H.264, H.265, VP9, AV1 și ProRes. Fiecare bloc reprezintă o conductă de procesare completă, capabilă să primească fluxul de biți comprimat la intrare și să livreze cadre decodificate gata în format YUV sau BGRA la ieșire fără participarea CPU-ului.

Decodificarea hardware a devenit standard în industria mobilă în anii 2012–2013, când Qualcomm Snapdragon 800 și Apple A7 au inclus pentru prima dată blocuri dedicate de decodificare H.264. De atunci, tehnologia a evoluat de la suportul unui singur format la blocuri universale multi-format capabile să decodifice mai multe fluxuri simultan — de exemplu, pentru funcționarea PiP cu un flux video separat.

Cum funcționează decodificarea hardware?

Procesul de decodificare hardware diferă radical de cel software. În locul executării secvențiale a instrucțiunilor CPU, blocul hardware implementează circuite fizice pentru fiecare etapă a decomprimării: decodificare entropică, cuantizare inversă, DCT invers și compensarea mișcării.

Arhitectura decodorului hardware

Un decodor hardware tipic constă din mai multe trepte de conductă. Prima treaptă — decodorul entropic, implementat ca un automat finit (FSM) pentru CABAC sau CAVLC. Spre deosebire de implementarea software, unde fiecare bit este procesat prin salturi condiționate, CABAC-ul hardware utilizează circuite paralele de predicție a contextului, permițând procesarea a 2–3 biți pe ciclu în loc de unul.

A doua treaptă — blocul DCT invers. DCT-ul software necesită bucle de înmulțire-acumulare pe CPU. Implementarea hardware utilizează un multiplicator matriceal care calculează toți cei 64 de coeficienți ai blocului 8×8 într-un singur ciclu. DCT-ul invers hardware funcționează la 400–600 MHz și procesează până la 4 milioane de macroblocuri pe secundă, suficient pentru decodificarea video 8K în timp real.

A treia treaptă — modulul de compensare a mișcării (MC). În paralel cu DCT-ul invers, blocul hardware primește vectorii de mișcare din fluxul de biți și extrage zonele de referință din bufferul cadrelor decodificate. Bufferul DPB (Decoded Picture Buffer) stochează până la 16 cadre de referință, accesul la care se face printr-o memorie cache specializată cu latență redusă. Decodoarele moderne utilizează predicția cu netezire adaptivă și interpolare subpixel, ceea ce este critic pentru H.265 și AV1.

Interacțiunea cu sistemul

Gestionarea decodorului hardware se face prin controlerul DMA. Aplicația transmite decodorului un pointer către datele comprimate în memoria partajată, iar decodorul citește independent fluxul de biți prin acces direct la memorie. După finalizarea decodificării cadrului, o întrerupere notifică driverul, iar cadrul gata devine disponibil în pool-ul de buffere de ieșire. Acest mecanism elimină complet încărcarea CPU-ului în etapa de procesare a datelor — procesorul doar inițiază decodificarea și primește rezultatul gata.

VideoToolbox și MediaCodec: comparația platformelor

Ambele platforme mobile oferă API native pentru decodificare hardware, dar cu abordări diferite privind gestionarea bufferelor și ciclul de viață al decodorului. VideoToolbox pe iOS este strâns integrat cu Metal pentru ieșirea pe ecran, iar MediaCodec pe Android utilizează Surface pentru randarea directă.

VideoToolbox — framework pentru decodificare hardware pe iOS și macOS. Utilizează modelul de decodificare asincronă: apelul VTDecompressionSessionDecodeFrame revine imediat, iar cadrele gata vin prin callback pe o coadă separată. VideoToolbox gestionează automat pool-ul de buffere de pixeli (CVPixelBufferPool) și poate reutiliza bufferele eliberate pentru cadre noi. Pentru video HDR, VideoToolbox suportă spațiile de culoare ITU-R BT.2020 și PQ/HLG EOTF.

MediaCodec utilizează un model sincron cu cozi de buffere de intrare și ieșire. Aplicația apelează ciclic dequeueInputBuffer pentru a trimite date comprimate și dequeueOutputBuffer pentru a obține rezultatul decodificat. Această abordare oferă dezvoltatorului control complet asupra ritmului de decodificare, ceea ce este important pentru sincronizarea audio și video. Pentru ieșirea pe ecran, MediaCodec acceptă Surface, permițând decodificarea direct pe GPU fără copierea prin CPU.

Avantajele decodificării hardware

Decodificarea hardware oferă trei avantaje cheie față de cea software: eficiență energetică, performanță și stabilitate. Fiecare dintre ele este critică pentru dispozitivele mobile cu resurse limitate de baterie și constrângeri termice.

Eficiență energetică

Principalul avantaj al decodificării hardware — consumul de energie radical mai redus. Un decodor hardware tipic H.264/H.265 consumă 0,2–0,5 W la decodificarea video 1080p în timp real. Spre comparație, decodificarea software a aceluiași flux pe CPU consumă 1,5–4 W în funcție de arhitectura procesorului. Diferența de 5–10 ori influențează direct durata de funcționare a bateriei: la vizionarea video, decodificarea hardware permite vizionarea a 10–15 ore de filme față de 2–4 ore la decodificarea software pe CPU.

Eficiența energetică se obține prin specializare îngustă. Spre deosebire de CPU, care execută o gamă largă de instrucțiuni și are o logică de control complexă, decodorul hardware conține doar circuitele necesare pentru un algoritm specific. Frecvența de tact a acestor blocuri este de 200–600 MHz față de 2–3 GHz la CPU, ceea ce reduce consumul dinamic de energie proporțional cu pătratul tensiunii.

Performanță și degajare de căldură

Decodificarea hardware asigură o rată de cadre garantată chiar și pentru rezoluții înalte. Datorită arhitecturii de conductă, blocul hardware poate procesa simultan mai multe etape ale decomprimării: în timp ce un modul efectuează decodificarea entropică pentru următorul macrobloc, altul aplică deja DCT invers celui curent. Acest paralelism este de neatins pe CPU, unde fiecare etapă este o operație secvențială.

Degajarea de căldură a decodorului hardware este semnificativ mai redusă: un bloc tipic disipă 0,3–0,8 W de căldură față de 2–6 W la CPU la decodificarea software a video 4K. Aceasta înseamnă că dispozitivul nu se supraîncălzește nici în timpul vizionării prelungite, throttling-ul nu apare, iar utilizatorul beneficiază de 60 FPS stabile fără scăderi. Temperatura carcasei la decodificarea hardware este de obicei cu 5–10 grade mai mică decât la cea software, ceea ce este deosebit de important pentru tabletele fără răcire activă.

Exemple de cod pentru decodificarea hardware

Să examinăm implementarea practică a decodificării hardware cu procesarea callback-urilor pe iOS prin VideoToolbox și conducta completă pe Android prin MediaCodec.

Exemplu complet de decodificare hardware pe iOS

import VideoToolbox
import CoreMedia

class HardwareDecoder {
    var session: VTDecompressionSession?
    
    func setup() {
        let formatDesc = createFormatDescription()
        var callback = VTDecompressionOutputCallbackRecord(
            decompressionOutputCallback: decodingCallback,
            decompressionOutputRefCon: nil
        )
        VTDecompressionSessionCreate(
            allocator: nil,
            videoFormatDescription: formatDesc,
            videoDecoderSpecification: nil,
            destinationImageBufferAttributes: nil,
            outputCallback: &callback,
            decompressionSessionOut: &session
        )
    }
    
    func decode(sampleBuffer: CMSampleBuffer) {
        VTDecompressionSessionDecodeFrame(
            session!, sampleBuffer: sampleBuffer,
            flags: ._EnableAsynchronousDecompression,
            frameRefcon: nil, infoFlagsOut: nil
        )
    }
}

Codul creează o sesiune de decodificare VideoToolbox cu callback asincron. VTDecompressionSessionCreate determină automat decodorul hardware disponibil pe baza CMVideoFormatDescription transmis. Flag-ul kVTDecodeFrame_EnableAsynchronousDecompression activează modul asincron — aplicația nu se blochează în timpul decodificării, ci primește cadrele prin callback. Pentru H.264, trebuie creată în prealabil o descriere a formatului din unitățile NAL SPS/PPS prin CMVideoFormatDescriptionCreateFromH264ParameterSets.

Decodificare hardware pe Android cu ieșire pe Surface

class HardwareDecoder(private val surface: Surface) {
    private var mediaCodec: MediaCodec? = null
    
    fun initDecoder(mimeType: String, width: Int, height: Int) {
        mediaCodec = MediaCodec.createDecoderByType(mimeType)
        val format = MediaFormat.createVideoFormat(mimeType, width, height)
        
        mediaCodec?.configure(format, surface, null, 0)
        mediaCodec?.start()
    }
    
    fun feedFrame(data: ByteArray, pts: Long) {
        val inputIndex = mediaCodec!!.dequeueInputBuffer(TIMEOUT_US)
        if (inputIndex >= 0) {
            val buffer = mediaCodec!!.getInputBuffer(inputIndex)
            buffer?.put(data)
            mediaCodec!!.queueInputBuffer(inputIndex, 0, data.size, pts, 0)
        }
    }
}

Codul în Kotlin creează MediaCodec legat de Surface, ceea ce asigură ieșirea directă pe ecran fără copierea datelor prin CPU. Parametrul mimeType utilizează constantele MediaFormat: video/avc pentru H.264, video/hevc pentru H.265, video/av01 pentru AV1. Metoda dequeueInputBuffer așteaptă un buffer de intrare liber cu timeout; dacă bufferul nu este disponibil — cadrul curent este omis, prevenind supraîncărcarea cozii la un bitrate neuniform.

Când să alegeți decodificarea hardware

Decodificarea hardware este alegerea optimă pentru majoritatea scenariilor de producție, dar nu este o soluție universală. Înțelegerea limitelor de aplicabilitate ajută la evitarea situațiilor în care lipsa suportului hardware al codecului strică experiența utilizatorului.

Scenarii de utilizare obligatorie

Decodificarea hardware este obligatorie în trei cazuri: redarea prelungită a video (peste 30 de minute), decodificarea conținutului 4K și orice aplicație orientată spre durata maximă de funcționare a bateriei. Serviciile de streaming (Netflix, YouTube, Twitch) utilizează exclusiv decodificarea hardware, deoarece cea software nu poate garanta o redare stabilă la un bitrate ridicat și rezoluție mare. Pentru aceste servicii, suportul DRM (FairPlay, Widevine) este critic, fiind disponibil doar prin blocul hardware care asigură o conductă protejată de la decodor la afișare.

Pentru jocurile cu video integrat (scene cinematice, reclame, clipuri în joc) se recomandă, de asemenea, decodificarea hardware. Motoarele de joc moderne, precum Unity și Unreal Engine, au suport încorporat pentru VideoToolbox și MediaCodec. Decodificarea hardware în jocuri eliberează CPU-ul pentru simularea fizicii, AI-ul inamicilor și procesarea intrărilor, ceea ce crește performanța generală.

Limitări și fallback

Principala limitare a decodificării hardware — dependența de suportul hardware al formatului. Dacă SoC-ul nu conține un decodor pentru AV1 (de exemplu, dispozitivele cu Snapdragon 8 Gen 1), aplicația trebuie să prevadă un fallback software prin FFmpeg și dav1d. Situație similară cu H.265 pe dispozitivele vechi și ProRes, care este suportat doar pe cipurile Apple A13+ pentru decodificare. Se recomandă verificarea disponibilității decodorului hardware al formatului necesar înainte de redare și alegerea dinamică a strategiei de decodificare.

A doua limitare — numărul de sesiuni simultane de decodificare. Majoritatea SoC-urilor suportă 1–2 decodoare hardware paralele. La încercarea de a deschide o a treia sesiune, API-ul va returna o eroare, iar aplicația trebuie să comute la decodificarea software. Numărul de sesiuni depinde de producătorul SoC-ului: cipurile Apple permit până la 4 sesiuni de decodificare H.264 pe A17 Pro, iar Snapdragon 8 Gen 2 — până la 2 pentru H.265 și până la 2 pentru VP9 în total.