Encodage vidéo dans les applications mobiles : définition, codecs et paramètres

Qu'est-ce que l'encodage vidéo ?

L'encodage vidéo est le processus de conversion d'un signal vidéo non compressé en un format numérique à l'aide d'algorithmes de compression. Ces algorithmes, implémentés dans les codecs vidéo, suppriment les informations redondantes à la fois dans le domaine spatial (à l'intérieur d'une image) et temporel (entre les images successives).

La vidéo non compressée est une séquence d'images, chacune stockée sous forme de tableau de pixels au format RGB ou YUV. Sans compression, une seconde de vidéo 1080p à 30 FPS nécessite environ 1,5 Go de mémoire. Le codec H.264 compresse ce flux à 3–5 Mbit/s, soit 2500 fois moins que le volume d'origine.

Principes de compression vidéo

Les codecs vidéo utilisent deux types de compression : intra-image et inter-image. La compression intra-image est appliquée à chaque image indépendamment, en utilisant des algorithmes similaires au JPEG : transformée en cosinus discrète (DCT), quantification et codage entropique.

La compression inter-image analyse la différence entre les images successives et code uniquement les changements. Si l'arrière-plan est statique, le codec transmet une image complète une seule fois (I-frame), puis seulement les différences (P- et B-frames), ce qui réduit considérablement le volume de données pour les scènes à faible dynamique.

Codecs vidéo : H.264, H.265, VP9, AV1

Le choix du codec vidéo détermine le rapport qualité-taille, la compatibilité avec les appareils et les redevances de licence. Quatre codecs principaux dominent le marché des applications mobiles : H.264 (AVC), H.265 (HEVC), VP9 et AV1.

H.264 — la norme universelle

H.264 (AVC — Advanced Video Coding) reste le codec vidéo le plus compatible : il est pris en charge par tous les appareils mobiles, navigateurs et téléviseurs intelligents depuis 2005. Le décodage H.264 accéléré par matériel est disponible même sur les appareils d'entrée de gamme, ce qui le rend idéal pour un flux universel.

Le principal inconvénient du H.264 est son efficacité de compression relativement faible par rapport aux codecs modernes. Au même débit, H.265 et AV1 offrent une qualité nettement supérieure, ce qui est particulièrement important pour le contenu HDR et 4K.

H.265 — l'efficacité pour la 4K

H.265 (HEVC — High Efficiency Video Coding) offre une compression 40 à 50 % meilleure que H.264 à qualité visuelle égale. Ceci est obtenu grâce à une division plus flexible de l'image en blocs (CTU jusqu'à 64×64 pixels au lieu de 16×16) et à des algorithmes de prédiction de mouvement améliorés.

HEVC est pris en charge sur tous les appareils Apple (à partir de l'iPhone 6), sur Android (à partir de la version 5.0 avec décodage matériel) et sur la plupart des téléviseurs intelligents. Les redevances HEVC sont plus élevées que pour H.264 et sont gérées par deux pools de brevets, ce qui complique l'utilisation légale.

AV1 — la norme ouverte du futur

AV1 est un codec vidéo développé par l'Alliance for Open Media (AOM), un consortium dirigé par Google, Netflix, Amazon, Intel et Mozilla. AV1 offre une compression 50 à 60 % meilleure que H.264 et est totalement exempt de redevances, ce qui le rend attractif pour les services de streaming.

Le principal inconvénient d'AV1 est sa complexité de calcul élevée d'encodage. L'encodage AV1 peut être 5 à 10 fois plus lent que H.264 sur le même matériel, bien que le décodage matériel apparaisse déjà sur les appareils 2024–2025 (Snapdragon 8 Gen 3, Apple A17 Pro).

Codecs audio : AAC, MP3, Opus

Les codecs audio dans les applications mobiles ne sont pas moins importants que les codecs vidéo. Le streaming vidéo nécessite un audio avec une latence minimale, une haute qualité et une compatibilité avec les conteneurs MP4 et WebM. Trois codecs audio principaux couvrent 99 % des applications de streaming mobile.

AAC — la norme d'Apple et YouTube

AAC (Advanced Audio Coding) est le successeur du MP3, développé par MPEG en 1997 et devenu le codec audio standard pour iTunes, YouTube et Android. AAC offre la même qualité que le MP3 avec un débit 30 % inférieur et prend en charge l'audio multicanal jusqu'à 7.1.

Pour les applications mobiles, AAC-LC à 128–192 kbit/s pour la stéréo et AAC-HE pour les faibles débits de 32–64 kbit/s sont recommandés. Le décodage AAC matériel est disponible sur tous les appareils modernes, minimisant la consommation d'énergie.

Opus — le codec audio moderne

Opus est un codec audio ouvert de l'IETF (RFC 6716) offrant la meilleure qualité parmi tous les codecs audio à des débits de 6 à 510 kbit/s. Opus combine SILK (algorithme pour la parole) et CELT (pour la musique) et change automatiquement de mode en fonction du contenu.

Opus est utilisé dans WebRTC pour les appels vidéo, dans les applications Spotify et Discord, et est pris en charge dans HLS à partir d'iOS 11 et Android 5.0. La faible latence d'Opus (5–26 ms contre 40–100 ms pour AAC) en fait le choix privilégié pour les diffusions en direct et les visioconférences.

Paramètres d'encodage : débit, résolution, FPS

Les paramètres d'encodage déterminent la taille finale du fichier, la qualité vidéo et la compatibilité avec les appareils. Un développeur d'applications mobiles doit choisir les paramètres optimaux pour chaque type de contenu : films, diffusions sportives, contenu généré par l'utilisateur.

Débit binaire et ses types

Le débit binaire est le nombre de bits utilisés pour encoder une seconde de vidéo. Il existe le CBR (débit constant) pour les diffusions en direct, le VBR (débit variable) avec qualité cible pour le stockage d'archive et l'ABR (débit moyen) pour le streaming.

CRF — contrôle qualité

CRF (Constant Rate Factor) est un paramètre d'encodage dans x264 et x265 qui définit la qualité cible au lieu d'un débit fixe. L'échelle CRF va de 0 (sans perte) à 51 (pire qualité), 18–28 étant la plage de travail. Pour les applications mobiles, CRF 23 pour x264 et CRF 25 pour x265 sont recommandés.

CRF 18–20 offre une haute qualité pour le contenu de présentation et la visualisation hors ligne. CRF 24–28 convient au streaming et au contenu généré par l'utilisateur, où la taille du fichier est plus importante que la qualité absolue.

Profils et niveaux de codec

La norme H.264 définit des profils (Baseline, Main, High) et des niveaux (Level 1–5.2) qui limitent les paramètres vidéo maximums. Baseline Profile est compatible avec tous les appareils mais ne prend pas en charge les B-frames. High Profile offre une qualité maximale et est utilisé pour le contenu 1080p.

Pour le streaming 4K, Level 5.1 et supérieur est requis, pris en charge par la plupart des appareils mobiles à partir de 2018. Le niveau du codec détermine la résolution maximale, le débit binaire et la taille du tampon, garantissant un décodage correct sur tous les appareils certifiés.

Encodage pour le streaming

L'encodage pour le streaming diffère de l'encodage d'archive par la nécessité de créer plusieurs variantes de qualité (ABR ladder) et d'optimiser pour la transmission réseau. Les fournisseurs de contenu utilisent le transcodage en temps réel ou le pré-encodage pour la VOD.

Une ABR ladder typique pour les applications mobiles comprend 4 à 6 variantes : de 144p (200 kbit/s) pour les réseaux faibles à 1080p (8 Mbit/s) pour le Wi-Fi. Résolutions recommandées : 144p, 240p, 360p, 480p, 720p, 1080p. Pour le contenu 4K, on ajoute 1440p et 2160p.

Transcodage sur un appareil mobile

val mediaCodec = MediaCodec.createEncoderByType(
    MediaFormat.MIMETYPE_VIDEO_AVC
)
val format = MediaFormat.createVideoFormat(
    MediaFormat.MIMETYPE_VIDEO_AVC,
    1280, 720
).apply {
    setInteger(MediaFormat.KEY_BIT_RATE, 3_000_000)
    setInteger(MediaFormat.KEY_FRAME_RATE, 30)
    setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2)
    setInteger(MediaFormat.KEY_PROFILE,
        MediaCodecInfo.CodecProfileLevel.AVCProfileHigh)
    setInteger(MediaFormat.KEY_LEVEL,
        MediaCodecInfo.CodecProfileLevel.AVCLevel31)
}
mediaCodec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

Encodage pour les diffusions en direct

Pour les diffusions en direct, la faible latence est particulièrement importante. Les paramètres d'encodage doivent minimiser le délai d'entrée/sortie du codec : une taille GOP de 1 à 2 secondes (toutes les 30 à 60 images) est recommandée, les B-frames doivent être désactivés ou minimisés, et le Baseline Profile est utilisé pour H.264.

Les protocoles modernes à faible latence — LL-HLS et CMAF-Low Latency — nécessitent un encodage fragmenté avec des segments de 1 à 2 secondes et une prise en charge des téléchargements partiels (Partial Segments). Le codec doit prendre en charge moof-box dans chaque segment pour MP4 fragmenté.

Optimisation du pipeline d'encodage

• Encodage matériel via MediaCodec (Android) ou VideoToolbox (iOS) est obligatoire pour le temps réel.
• Encodage multithread sur le serveur avec libx264/libx265 en mode ultrafast ou veryfast.
• Presets d'encodage : placebo — le pire pour la VOD (compression maximale), ultrafast — pour les diffusions en direct.
• VBR deux passes — le mode préféré pour la VOD, offrant une taille et une qualité prévisibles.