Codifica video nelle applicazioni mobili: cosa sono, codec e parametri

Cos'è la codifica video?

La codifica video è il processo di conversione di un segnale video non compresso in un formato digitale utilizzando algoritmi di compressione. Questi algoritmi, implementati nei codec video, rimuovono le informazioni ridondanti sia nel dominio spaziale (all'interno di un singolo fotogramma) che temporale (tra fotogrammi successivi).

Il video non compresso è una sequenza di fotogrammi, ciascuno memorizzato come matrice di pixel in formato RGB o YUV. Senza compressione, un secondo di video 1080p a 30 FPS richiede circa 1,5 GB di memoria. Il codec H.264 comprime questo flusso a 3–5 Mbps, 2500 volte meno del volume originale.

Principi di compressione video

I codec video utilizzano due tipi di compressione: intra-frame e inter-frame. La compressione intra-frame viene applicata a ciascun fotogramma in modo indipendente, utilizzando algoritmi simili a JPEG: trasformata discreta del coseno (DCT), quantizzazione e codifica entropica.

La compressione inter-frame analizza la differenza tra fotogrammi successivi e codifica solo le modifiche. Se lo sfondo è statico, il codec trasmette un fotogramma completo una sola volta (I-frame), e poi solo le differenze (P- e B-frames), riducendo significativamente il volume di dati per scene con scarsa dinamica.

Codec video: H.264, H.265, VP9, AV1

La scelta del codec video determina il rapporto qualità-dimensioni, la compatibilità con i dispositivi e le commissioni di licenza. Quattro codec principali dominano il mercato delle applicazioni mobili: H.264 (AVC), H.265 (HEVC), VP9 e AV1.

H.264 — lo standard universale

H.264 (AVC — Advanced Video Coding) rimane il codec video più compatibile: è supportato da tutti i dispositivi mobili, browser e Smart TV dal 2005. La decodifica H.264 accelerata via hardware è disponibile anche su dispositivi economici, rendendolo ideale per un flusso universale.

Il principale svantaggio di H.264 è la relativa bassa efficienza di compressione rispetto ai codec moderni. Allo stesso bitrate, H.265 e AV1 offrono una qualità notevolmente superiore, particolarmente importante per contenuti HDR e 4K.

H.265 — efficienza per il 4K

H.265 (HEVC — High Efficiency Video Coding) offre una compressione migliore del 40–50% rispetto a H.264 alla stessa qualità visiva. Ciò è ottenuto attraverso una suddivisione più flessibile del fotogramma in blocchi (CTU fino a 64×64 pixel invece di 16×16) e algoritmi migliorati di predizione del movimento.

HEVC è supportato su tutti i dispositivi Apple (a partire da iPhone 6), su Android (a partire dalla versione 5.0 con decodifica hardware) e sulla maggior parte degli Smart TV. Le royalty HEVC sono più elevate di H.264 e sono gestite da due pool di brevetti, complicando l'uso legale.

AV1 — lo standard aperto del futuro

AV1 è un codec video sviluppato da Alliance for Open Media (AOM), un consorzio guidato da Google, Netflix, Amazon, Intel e Mozilla. AV1 offre una compressione migliore del 50–60% rispetto a H.264 ed è completamente esente da royalty, rendendolo attraente per i servizi di streaming.

Il principale svantaggio di AV1 è l'elevata complessità computazionale di codifica. La codifica AV1 può essere da 5 a 10 volte più lenta di H.264 sullo stesso hardware, sebbene la decodifica hardware stia già apparendo sui dispositivi 2024–2025 (Snapdragon 8 Gen 3, Apple A17 Pro).

Codec audio: AAC, MP3, Opus

I codec audio nelle applicazioni mobili non sono meno importanti dei codec video. Lo streaming video richiede audio con latenza minima, alta qualità e compatibilità con i contenitori MP4 e WebM. Tre codec audio principali coprono il 99% delle applicazioni di streaming mobile.

AAC — lo standard di Apple e YouTube

AAC (Advanced Audio Coding) è il successore di MP3, sviluppato da MPEG nel 1997 e diventato il codec audio standard per iTunes, YouTube e Android. AAC offre la stessa qualità di MP3 con un bitrate inferiore del 30% e supporta audio multicanale fino a 7.1.

Per le applicazioni mobili, si consiglia AAC-LC a 128–192 kbps per lo stereo e AAC-HE per bitrate bassi di 32–64 kbps. La decodifica AAC hardware è disponibile su tutti i dispositivi moderni, riducendo al minimo il consumo energetico.

Opus — il codec audio moderno

Opus è un codec audio aperto di IETF (RFC 6716) che offre la migliore qualità tra tutti i codec audio con bitrate da 6 a 510 kbps. Opus combina SILK (algoritmo per la voce) e CELT (per la musica) e cambia automaticamente modalità a seconda del contenuto.

Opus viene utilizzato in WebRTC per le videochiamate, nelle applicazioni Spotify e Discord, ed è supportato in HLS a partire da iOS 11 e Android 5.0. La bassa latenza di Opus (5–26 ms contro 40–100 ms di AAC) lo rende la scelta preferita per le trasmissioni in diretta e le videoconferenze.

Parametri di codifica: bitrate, risoluzione, FPS

I parametri di codifica determinano la dimensione finale del file, la qualità video e la compatibilità con i dispositivi. Uno sviluppatore di applicazioni mobili deve scegliere le impostazioni ottimali per ogni tipo di contenuto: film, trasmissioni sportive, contenuti generati dagli utenti.

Bitrate e suoi tipi

Il bitrate è il numero di bit utilizzati per codificare un secondo di video. Esistono CBR (bitrate costante) per le trasmissioni in diretta, VBR (bitrate variabile) con qualità target per l'archiviazione e ABR (bitrate medio) per lo streaming.

CRF — controllo qualità

CRF (Constant Rate Factor) è un parametro di codifica in x264 e x265 che imposta la qualità target invece di un bitrate fisso. La scala CRF va da 0 (senza perdita) a 51 (qualità peggiore), con 18–28 come intervallo di lavoro. Per le applicazioni mobili, si consiglia CRF 23 per x264 e CRF 25 per x265.

CRF 18–20 fornisce alta qualità per contenuti di presentazione e visualizzazione offline. CRF 24–28 è adatto per streaming e contenuti generati dagli utenti, dove la dimensione del file è più importante della qualità assoluta.

Profili e livelli del codec

Lo standard H.264 definisce profili (Baseline, Main, High) e livelli (Level 1–5.2) che limitano i parametri video massimi. Baseline Profile è compatibile con tutti i dispositivi ma non supporta i B-frames. High Profile offre la massima qualità ed è utilizzato per contenuti 1080p.

Per lo streaming 4K, è richiesto Level 5.1 e superiore, supportato dalla maggior parte dei dispositivi mobili dal 2018. Il livello del codec determina la risoluzione massima, il bitrate e la dimensione del buffer, garantendo una decodifica corretta su tutti i dispositivi certificati.

Codifica per lo streaming

La codifica per lo streaming si differenzia dalla codifica di archivio per la necessità di creare più varianti di qualità (ABR ladder) e ottimizzare per la trasmissione in rete. I fornitori di contenuti utilizzano la transcodifica in tempo reale o la pre-codifica per VOD.

Un'ABR ladder tipica per applicazioni mobili include 4–6 varianti: da 144p (200 kbps) per reti deboli a 1080p (8 Mbps) per Wi-Fi. Risoluzioni consigliate: 144p, 240p, 360p, 480p, 720p, 1080p. Per contenuti 4K, si aggiungono 1440p e 2160p.

Transcodifica su un dispositivo mobile

val mediaCodec = MediaCodec.createEncoderByType(
    MediaFormat.MIMETYPE_VIDEO_AVC
)
val format = MediaFormat.createVideoFormat(
    MediaFormat.MIMETYPE_VIDEO_AVC,
    1280, 720
).apply {
    setInteger(MediaFormat.KEY_BIT_RATE, 3_000_000)
    setInteger(MediaFormat.KEY_FRAME_RATE, 30)
    setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2)
    setInteger(MediaFormat.KEY_PROFILE,
        MediaCodecInfo.CodecProfileLevel.AVCProfileHigh)
    setInteger(MediaFormat.KEY_LEVEL,
        MediaCodecInfo.CodecProfileLevel.AVCLevel31)
}
mediaCodec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

Codifica per trasmissioni in diretta

Per le trasmissioni in diretta, la bassa latenza è particolarmente importante. Le impostazioni di codifica devono ridurre al minimo il ritardo di ingresso/uscita del codec: si consiglia una dimensione GOP di 1–2 secondi (ogni 30–60 fotogrammi), i B-frames devono essere disabilitati o minimizzati e per H.264 si utilizza Baseline Profile.

I protocolli moderni a bassa latenza — LL-HLS e CMAF-Low Latency — richiedono codifica frammentata con segmenti di 1–2 secondi e supporto per download parziali (Partial Segments). Il codec deve supportare moof-box in ogni segmento per MP4 frammentato.

Ottimizzazione della pipeline di codifica

• Codifica hardware tramite MediaCodec (Android) o VideoToolbox (iOS) è obbligatoria per il tempo reale.
• Codifica multithread sul server utilizzando libx264/libx265 in modalità ultrafast o veryfast.
• Preset di codifica: placebo — il peggiore per VOD (massima compressione), ultrafast — per trasmissioni in diretta.
• VBR a due passate — la modalità preferita per VOD, che fornisce dimensioni e qualità prevedibili.