Decoding σε εφαρμογές κινητών: τι είναι, βασικές έννοιες και αρχή λειτουργίας

Τι είναι το decoding;

Το Decoding είναι η διαδικασία μετατροπής συμπιεσμένων ψηφιακών δεδομένων πίσω στην αρχική μη συμπιεσμένη μορφή. Στο πλαίσιο των πολυμέσων, η αποκωδικοποίηση αποκαθιστά καρέ βίντεο από τη συμπιεσμένη ροή bit που δημιουργήθηκε από τον κωδικοποιητή. Χωρίς αποκωδικοποίηση, ο χρήστης δεν μπορεί να δει το βίντεο ή να ακούσει τον ήχο, καθώς όλες οι σύγχρονες μορφές πολυμέσων χρησιμοποιούν συμπίεση για εξοικονόμηση εύρους ζώνης και χώρου στον δίσκο.

Μια τυπική ροή βίντεο σε μορφή H.264 με bitrate 5 Mbps καταλαμβάνει 100 φορές λιγότερο χώρο από μια μη συμπιεσμένη ροή RGB με παρόμοια ανάλυση. Ο αλγόριθμος αποκωδικοποίησης πρέπει να επαναφέρει κάθε καρέ στην αρχική ανάλυση και χρωματικό χώρο, ακολουθώντας την προδιαγραφή του κωδικοποιητή σε αντίστροφη σειρά σε σχέση με την κωδικοποίηση. Γι' αυτό, ο αποκωδικοποιητής επεξεργάζεται δεδομένα ενδο-καρέ (I-frame) και δια-καρέ (P-frame, B-frame).

Σε κινητές συσκευές, η αποκωδικοποίηση μπορεί να γίνει τόσο σε CPU όσο και σε αποκλειστικά μπλοκ υλικού. Τα σύγχρονα SoC από την Apple (σειρά A), την Qualcomm (Snapdragon) και τη MediaTek (Dimensity) περιέχουν ενσωματωμένους αποκωδικοποιητές για όλες τις δημοφιλείς μορφές. Ο επεξεργαστής βίντεο αναλαμβάνει τη βαριά δουλειά του αντίστροφου διακριτού μετασχηματισμού συνημιτόνου και της αντιστάθμισης κίνησης, ελευθερώνοντας την CPU για άλλες εργασίες.

Πώς λειτουργεί η αποκωδικοποίηση;

Η διαδικασία αποκωδικοποίησης αποτελείται από πολλά διαδοχικά στάδια που αντιστρέφουν τα βήματα κωδικοποίησης. Αρχικά, από τη ροή bit εξάγονται οι κεφαλίδες και οι παράμετροι συμπίεσης — προφίλ, επίπεδο, ανάλυση, χρωματικός χώρος. Στη συνέχεια, ο αποκωδικοποιητής επεξεργάζεται διαδοχικά τα συμπιεσμένα μακρομπλοκ, εφαρμόζοντας σε αυτά αντίστροφους μετασχηματισμούς.

Στάδια αποκωδικοποίησης ροής βίντεο

Πρώτο στάδιο — εξαγωγή του εντροπικού κώδικα. Η εντροπική αποκωδικοποίηση χρησιμοποιεί αλγόριθμους CABAC ή CAVLC για την αποκατάσταση των συντελεστών του διακριτού μετασχηματισμού συνημιτόνου. Αυτό το στάδιο δεν εξαρτάται από την ανάλυση βίντεο — επεξεργάζεται τη ροή bit, όχι τα εικονοστοιχεία, και η πολυπλοκότητά του καθορίζεται από το bitrate, όχι από το μέγεθος καρέ.

Δεύτερο στάδιο — αντίστροφη κβάντιση και αντίστροφος DCT. Ο αποκωδικοποιητής πολλαπλασιάζει τους κβαντισμένους συντελεστές με το βήμα κβάντισης, αποκαθιστώντας τις κατά προσέγγιση τιμές των συντελεστών DCT, και στη συνέχεια εφαρμόζει τον αντίστροφο μετασχηματισμό DCT. Ο αντίστροφος DCT αποκαθιστά τα χωρικά δεδομένα από τον τομέα συχνότητας, σχηματίζοντας ένα μακρομπλοκ εικονοστοιχείων. Για τη χρωματικότητα και τη φωτεινότητα, ο μετασχηματισμός εκτελείται ανεξάρτητα.

Τρίτο στάδιο — αντιστάθμιση κίνησης. Για καρέ P και B, ο αποκωδικοποιητής χρησιμοποιεί διανύσματα κίνησης που εξάγονται από τη ροή bit και αναφέρεται σε προηγουμένως αποκωδικοποιημένα καρέ αναφοράς. Η αντιστάθμιση κίνησης δημιουργεί έναν προβλεπτή του τρέχοντος μακρομπλοκ, στον οποίο προστίθεται το υπόλοιπο σήμα μετά τον αντίστροφο DCT. Το αποτέλεσμα — ένα πλήρως αποκατεστημένο καρέ, έτοιμο για έξοδο.

// Ψευδοκώδικας βασικής αποκωδικοποίησης καρέ βίντεο
struct DecodedFrame {
    uint8_t* y_plane;
    uint8_t* u_plane;
    uint8_t* v_plane;
    int width, height;
};

class Decoder {
public:
    bool decodeNALUnit(const uint8_t* nalUnit, size_t size) {
        if (!parseNALUHeader(nalUnit, size))
            return false;
        
        int sliceType = parseSliceType(nalUnit);
        entropyDecode(nalUnit);
        inverseQuantize();
        inverseDCT();
        
        if (sliceType != I_SLICE)
            motionCompensation();
        
        return true;
    }
};

Στο παραπάνω παράδειγμα φαίνεται η βασική δομή του αποκωδικοποιητή H.264. Η συνάρτηση decodeNALUnit λαμβάνει μια μονάδα NAL — το βασικό μπλοκ της συμπιεσμένης ροής H.264. Ο αποκωδικοποιητής αναλύει διαδοχικά την κεφαλίδα, εξάγει τον τύπο τομής, εφαρμόζει εντροπική αποκωδικοποίηση, αντίστροφη κβάντιση και αντίστροφο DCT. Για τομές P και B, εκτελείται επιπλέον αντιστάθμιση κίνησης χρησιμοποιώντας καρέ αναφοράς από το buffer DPB.

Μορφές συμπίεσης και κωδικοποιητές

Οι σύγχρονοι κωδικοποιητές βίντεο διαφέρουν στους αλγόριθμους συμπίεσης, την αποδοτικότητα και τις απαιτήσεις σε υπολογιστικούς πόρους. Η επιλογή μορφής επηρεάζει άμεσα το μέγεθος αρχείου, την ποιότητα εικόνας και την κατανάλωση ενέργειας κατά την αποκωδικοποίηση σε κινητή συσκευή.

Το H.264 είναι ο πιο διαδεδομένος κωδικοποιητής βίντεο, υποστηριζόμενος από όλες τις κινητές συσκευές. Το κύριο πλεονέκτημά του είναι η καθολικότητα: οποιοδήποτε smartphone Android και iPhone μπορούν να αποκωδικοποιήσουν H.264 μέσω υλικού. Ωστόσο, στο ίδιο bitrate, το H.264 υστερεί σε ποιότητα σε σύγκριση με τους πιο σύγχρονους κωδικοποιητές H.265 και AV1, απαιτώντας 30–50% περισσότερο bitrate για παρόμοια οπτική ποιότητα.

Το H.265 παρέχει διπλάσια καλύτερη συμπίεση σε σύγκριση με το H.264 στην ίδια ποιότητα. Η αποκωδικοποίηση H.265 απαιτεί ισχυρότερο μπλοκ υλικού: το VideoToolbox στο iOS υποστηρίζει H.265 από το iPhone 6 (A8) και μετά, και οι συσκευές Android — από Snapdragon 805 και πάνω. Κατά την επιλογή H.265 για εφαρμογή κινητού, πρέπει να ληφθεί υπόψη ότι παλαιότερες συσκευές ενδέχεται να μην έχουν υποστήριξη υλικού και θα αποκωδικοποιούν αυτή τη μορφή μέσω λογισμικού, αυξάνοντας δραστικά την κατανάλωση ενέργειας.

Το AV1 είναι ένας ανοιχτός κωδικοποιητής από την Alliance for Open Media, που παρέχει την καλύτερη συμπίεση μεταξύ όλων των σύγχρονων μορφών. Το AV1 είναι 30% πιο αποδοτικό από το H.265 και 50% πιο αποδοτικό από το H.264 στην ίδια οπτική ποιότητα. Η αποκωδικοποίηση υλικού AV1 εμφανίστηκε μόνο σε SoC 2023+: Apple A17 Pro, Qualcomm Snapdragon 8 Gen 2 και νεότερα. Για παλαιότερες συσκευές, η αποκωδικοποίηση AV1 είναι δυνατή μόνο μέσω λογισμικού μέσω της βιβλιοθήκης dav1d, δημιουργώντας σημαντικό φόρτο στην CPU.

Αποκωδικοποίηση λογισμικού vs υλικού

Η επιλογή μεταξύ αποκωδικοποίησης λογισμικού και υλικού είναι μια βασική αρχιτεκτονική απόφαση κατά την ανάπτυξη μιας κινητής συσκευής αναπαραγωγής πολυμέσων. Κάθε προσέγγιση έχει τα πλεονεκτήματα και τους περιορισμούς της που πρέπει να ληφθούν υπόψη κατά τον σχεδιασμό της εφαρμογής.

Απόδοση και κατανάλωση ενέργειας

Η αποκωδικοποίηση υλικού εκτελείται σε εξειδικευμένα μπλοκ επεξεργασίας βίντεο που καταναλώνουν σημαντικά λιγότερη ενέργεια από την CPU κατά την εκτέλεση της ίδιας εργασίας. Σύμφωνα με δεδομένα της Qualcomm, ο αποκωδικοποιητής υλικού H.265 καταναλώνει 5–10 φορές λιγότερη ενέργεια από την αποκωδικοποίηση λογισμικού σε CPU Snapdragon 8 Gen 1 κατά την αναπαραγωγή βίντεο 4K. Αυτό είναι κρίσιμο για κινητές συσκευές όπου κάθε milliwatt επηρεάζει τη διάρκεια ζωής της μπαταρίας.

Η αποκωδικοποίηση λογισμικού, από την άλλη πλευρά, παρέχει μέγιστη ευελιξία. Το FFmpeg με τη βιβλιοθήκη libavcodec υποστηρίζει δεκάδες κωδικοποιητές και κοντέινερ, συμπεριλαμβανομένων σπάνιων και παλαιών μορφών που δεν έχουν υποστήριξη υλικού. Ο προγραμματιστής μπορεί να τροποποιήσει τη γραμμή αποκωδικοποίησης, να προσθέσει μετα-επεξεργασία και φίλτρα εν κινήσει, πράγμα αδύνατο κατά τη χρήση κλειστών μπλοκ υλικού.

Πότε να επιλέξετε αποκωδικοποίηση λογισμικού

Η αποκωδικοποίηση λογισμικού δικαιολογείται σε διάφορα σενάρια: κατά την αναπαραγωγή σπάνιων μορφών (ProRes, DNxHD, Motion JPEG), όταν απαιτείται ακριβής έλεγχος σε κάθε στάδιο επεξεργασίας καρέ, καθώς και κατά την αποκωδικοποίηση AV1 σε συσκευές χωρίς υποστήριξη υλικού. Το libavcodec από το FFmpeg επιτρέπει την αποκωδικοποίηση σχεδόν οποιασδήποτε γνωστής μορφής, καθιστώντας το de facto πρότυπο για καθολικές συσκευές αναπαραγωγής πολυμέσων.

Ο περιορισμός της αποκωδικοποίησης λογισμικού είναι η παραγωγή θερμότητας. Η συνεχής αποκωδικοποίηση βίντεο 4K στην CPU μπορεί να θερμάνει τη συσκευή στους 45–50 βαθμούς σε 10–15 λεπτά, οδηγώντας σε throttling και μείωση του ρυθμού καρέ. Σε συσκευές χωρίς ενεργή ψύξη (tablet, τηλέφωνα), αυτό είναι ιδιαίτερα αισθητό. Η κατανάλωση ενέργειας CPU κατά την αποκωδικοποίηση λογισμικού μπορεί να φτάσει τα 3–5 W έναντι 0,3–0,5 W κατά την αποκωδικοποίηση υλικού της ίδιας ροής.

Πότε να επιλέξετε αποκωδικοποίηση υλικού

Η αποκωδικοποίηση υλικού είναι η προεπιλεγμένη επιλογή για οποιαδήποτε συσκευή αναπαραγωγής πολυμέσων παραγωγής. Παρέχει σταθερά 60 καρέ/δευτ. για βίντεο 4K με ελάχιστη κατανάλωση ενέργειας. Το VideoToolbox στο iOS και το MediaCodec στο Android παρέχουν εγγενή API για αποκωδικοποίηση υλικού που επιλέγουν αυτόματα το βέλτιστο μπλοκ επεξεργασίας ανάλογα με τον κωδικοποιητή και την ανάλυση.

Τα API πλατφόρμας αναλαμβάνουν τη διαχείριση των buffer καρέ (surface pool στο Android, CVPixelBufferPool στο iOS), τον συγχρονισμό με την οθόνη και τη βελτιστοποίηση μνήμης. Ο προγραμματιστής χρειάζεται απλώς να ανοίξει τον αποκωδικοποιητή με τις σωστές παραμέτρους και να λαμβάνει έτοιμα καρέ. Η αποκωδικοποίηση υλικού υποστηρίζει γραμμή από άκρο σε άκρο με ελάχιστη καθυστέρηση: από τη λήψη της ροής bit μέχρι την εμφάνιση στην οθόνη μεσολαβούν 5–15 ms έναντι 30–80 ms στην αποκωδικοποίηση λογισμικού.

Παραδείγματα κώδικα αποκωδικοποίησης

Ας εξετάσουμε την πρακτική υλοποίηση της αποκωδικοποίησης και στις δύο κινητές πλατφόρμες. Στο iOS, η αποκωδικοποίηση υλικού εκτελείται μέσω VideoToolbox, και η αποκωδικοποίηση λογισμικού — μέσω FFmpeg. Στο Android, χρησιμοποιείται το MediaCodec για αποκωδικοποίηση υλικού.

Αποκωδικοποίηση υλικού σε iOS με VideoToolbox

@interface VideoDecoder ()
@property (nonatomic) VTDecompressionSessionRef session;
@end

@implementation VideoDecoder

- (void)setupDecoder {
    CMVideoFormatDescriptionRef formatDesc;
    CMVideoCodecType codecType = kCMVideoCodecType_H264;
    
    OSStatus status = CMVideoFormatDescriptionCreate(
        NULL, codecType, 1920, 1080, NULL, &formatDesc
    );
    
    VTDecompressionOutputCallbackRecord callback;
    callback.decompressionOutputCallback = &decodingCallback;
    
    VTDecompressionSessionCreate(NULL, formatDesc, NULL,
        NULL, &callback, &_session);
}

- (void)decodeFrame: (uint8_t*)nalData length:(size_t)size {
    CMBlockBufferRef blockBuffer;
    CMBlockBufferCreateWithMemoryBlock(NULL, nalData,
        size, NULL, NULL, 0, size, 0, &blockBuffer);
    
    CMSampleBufferRef sampleBuffer;
    CMSampleBufferCreate(NULL, blockBuffer, true, NULL,
        NULL, NULL, 1, 0, NULL, 0, NULL, &sampleBuffer);
    
    VTDecompressionSessionDecodeFrame(_session,
        sampleBuffer, 0, NULL, 0);
}

@end

Ο κώδικας δείχνει την αρχικοποίηση του αποκωδικοποιητή υλικού H.264 στο iOS. Η VTDecompressionSessionCreate δημιουργεί μια συνεδρία αποκωδικοποίησης, και η VTCreate καλεί μια callback όταν εμφανίζεται ένα έτοιμο καρέ. Η συνεδρία χρησιμοποιεί αυτόματα το μπλοκ υλικού, εάν είναι διαθέσιμο για τον καθορισμένο κωδικοποιητή. Για τη λήψη αποκωδικοποιημένων καρέ σε μορφή CVPixelBuffer, χρησιμοποιείται μια callback που μεταδίδει κάθε έτοιμο καρέ με ελάχιστη καθυστέρηση.

Αποκωδικοποίηση υλικού σε Android με MediaCodec

MediaCodec decoder = MediaCodec.createDecoderByType("video/avc");
MediaFormat format = MediaFormat.createVideoFormat(
    "video/avc", 1920, 1080
);
format.setInteger(MediaFormat.KEY_FRAME_RATE, 30);

decoder.configure(format, surface, null, 0);
decoder.start();

ByteBuffer[] inputBuffers = decoder.getInputBuffers();
int inputIndex = decoder.dequeueInputBuffer(10000);

if (inputIndex >= 0) {
    ByteBuffer buffer = inputBuffers[inputIndex];
    buffer.clear();
    buffer.put(nalData);
    decoder.queueInputBuffer(inputIndex, 0, nalData.length, pts, 0);
}

Στο Android, το MediaCodec χρησιμοποιεί Surface για έξοδο, όχι buffer εικονοστοιχείων, ελαχιστοποιώντας την αντιγραφή δεδομένων μεταξύ GPU και CPU. Ο αποκωδικοποιητής επιλέγει αυτόματα το μπλοκ υλικού (στοιχείο OMX) με βάση τον τύπο κωδικοποιητή. Για H.264, χρησιμοποιείται το OMX.google.h264.decoder, το οποίο μπορεί να είναι είτε υλικού είτε λογισμικού, ανάλογα με την υλοποίηση του κατασκευαστή.

Πώς να επιλέξετε αποκωδικοποιητή για εφαρμογή κινητού

Η επιλογή στρατηγικής αποκωδικοποίησης εξαρτάται από το κοινό-στόχο της εφαρμογής, τις υποστηριζόμενες μορφές και τις απαιτήσεις απόδοσης. Η βέλτιστη λύση συχνά περιλαμβάνει μια υβριδική προσέγγιση: αποκωδικοποίηση υλικού για τις κύριες μορφές (H.264, H.265) με εφεδρικό λογισμικό για σπάνιους κωδικοποιητές.

Στρατηγική επιλογής κατά προτεραιότητες

Εάν η εφαρμογή προσανατολίζεται στη μέγιστη συμβατότητα — χρησιμοποιήστε H.264, το οποίο αποκωδικοποιείται εγγυημένα μέσω υλικού σε οποιαδήποτε συσκευή. Για υπηρεσίες ροής βίντεο, το H.265 με υποστήριξη υλικού σε συσκευές μετά το 2016 δικαιολογείται. Το AV1 είναι η επιλογή για υπηρεσίες όπου η εξοικονόμηση εύρους ζώνης είναι σημαντική: το YouTube, το Netflix και άλλες μεγάλες πλατφόρμες εφαρμόζουν ενεργά το AV1 για μείωση του κόστους CDN διατηρώντας παράλληλα την ποιότητα.

Η κρίσιμη παράμετρος — το μέγεθος buffer του αποκωδικοποιητή. Οι αποκωδικοποιητές υλικού έχουν σταθερή ομάδα buffer (συνήθως 4–16 καρέ). Κατά την αναπαραγωγή ροής υψηλού bitrate, οι buffer μπορεί να υπερχειλίσουν, οδηγώντας σε παράλειψη καρέ. Το MediaCodec παρέχει τη μέθοδο getOutputFrameRate για τον προσδιορισμό της πραγματικής απόδοσης του αποκωδικοποιητή σε μια συγκεκριμένη συσκευή, και το VideoToolbox επιτρέπει τον έλεγχο προτεραιότητας σε πραγματικό χρόνο μέσω του kVTDecodeFrame_EnableAsynchronousDecompression.

Το θερμικό throttling είναι ένας άλλος παράγοντας. Ακόμα και η αποκωδικοποίηση υλικού μπορεί να θερμάνει τη συσκευή κατά την παρατεταμένη αναπαραγωγή βίντεο 4K HDR. Συνιστάται η παρακολούθηση της θερμοκρασίας μέσω ProcessInfo στο iOS και BatteryManager στο Android, μειώνοντας την ποιότητα ή την ανάλυση της ροής σε περίπτωση υπερθέρμανσης. Αυτό είναι ιδιαίτερα κρίσιμο για παιχνίδια και εφαρμογές ροής με μεγάλες συνεδρίες παρακολούθησης.