Protobuf — τι είναι, δυαδική μορφή δεδομένων και αρχή λειτουργίας

Τι είναι το Protocol Buffers;

Protocol Buffers είναι ένας μηχανισμός σειριοποίησης δομημένων δεδομένων που αναπτύχθηκε από την Google, παρόμοιος με JSON και XML, αλλά με μια θεμελιώδη διαφορά: τα δεδομένα κωδικοποιούνται σε δυαδική μορφή. Αυτό σημαίνει ότι ένα μήνυμα Protobuf δεν μπορεί να διαβαστεί με γυμνό μάτι, αλλά καταλαμβάνει σημαντικά λιγότερο χώρο και επεξεργάζεται ταχύτερα από τα κειμενικά αντίστοιχα.

Το Protobuf δημιουργήθηκε εσωτερικά στην Google για την επίλυση προβλημάτων απόδοσης κατά την ανταλλαγή δεδομένων μεταξύ υπηρεσιών. Το 2008, η τεχνολογία έγινε έργο ανοικτού κώδικα με υποστήριξη για πολλές γλώσσες: C++, Java, Python, Go, JavaScript, Kotlin, Swift, Dart και άλλες. Η έκδοση proto3, που κυκλοφόρησε το 2016, απλοποίησε τη σύνταξη και πρόσθεσε υποστήριξη για περισσότερες γλώσσες.

Η βασική διαφορά μεταξύ Protobuf και JSON είναι η ανάγκη ορισμού σχήματος πριν από την έναρξη της ανταλλαγής δεδομένων. Το αρχείο σχήματος (.proto) περιγράφει τη δομή του μηνύματος: πεδία, τύπους και μοναδικούς αριθμούς πεδίων. Από αυτό το σχήμα, ο μεταγλωττιστής protoc δημιουργεί κλάσεις στη γλώσσα-στόχο για σειριοποίηση και αποσειριοποίηση.

Οικοσύστημα Protobuf

• gRPC — υψηλής απόδοσης πλαίσιο RPC που χρησιμοποιεί από προεπιλογή Protobuf
• protoc — μεταγλωττιστής σχημάτων .proto σε κώδικα σε διάφορες γλώσσες προγραμματισμού
• Google API — τα περισσότερα δημόσια API της Google χρησιμοποιούν Protobuf
• Envoy Proxy — χρησιμοποιεί Protobuf για διαμόρφωση και ανταλλαγή δεδομένων

Αρχιτεκτονική Protobuf

Η αρχιτεκτονική Protobuf περιλαμβάνει τρία βασικά στοιχεία: γλώσσα ορισμού σχήματος (.proto), μεταγλωττιστή protoc και βιβλιοθήκες χρόνου εκτέλεσης για συγκεκριμένες γλώσσες. Ο προγραμματιστής περιγράφει τη δομή δεδομένων σε ένα αρχείο .proto, εκτελεί τη μεταγλώττιση και λαμβάνει έτοιμες κλάσεις για εργασία με αυτά τα δεδομένα.

Κάθε πεδίο σε ένα μήνυμα Protobuf έχει έναν μοναδικό αριθμό (field number) — δεν είναι τακτικός αριθμός, αλλά μια ετικέτα που χρησιμοποιείται στη δυαδική μορφή για την αναγνώριση του πεδίου. Οι αριθμοί από 1 έως 15 κωδικοποιούνται με ένα byte, από 16 έως 2047 με δύο bytes. Γι' αυτό σημαντικά πεδία με υψηλή συχνότητα χρήσης θα πρέπει να αριθμούνται από 1 έως 15 για βελτιστοποίηση μεγέθους.

Τύποι δεδομένων Protobuf

Το Protobuf υποστηρίζει ένα ευρύ φάσμα τύπων: βαθμωτοί (int32, int64, float, double, bool, string, bytes), απαριθμήσεις (enum), σύνθετοι (message) και ειδικοί (oneof, map). Κάθε τύπος έχει μια συγκεκριμένη δυαδική αναπαράσταση, βελτιστοποιημένη για το αντίστοιχο σενάριο χρήσης.

Πλεονεκτήματα δυαδικής μορφής

Protobuf προσφέρει τρία βασικά πλεονεκτήματα έναντι των μορφών κειμένου: μέγεθος μηνύματος, ταχύτητα σειριοποίησης και αυστηρή τυποποίηση. Σε συστήματα υψηλού φορτίου και εφαρμογές κινητών με περιορισμένη κίνηση, αυτά τα πλεονεκτήματα γίνονται κρίσιμα.

Η δυαδική αναπαράσταση Protobuf χρησιμοποιεί variable-length encoding (Varint) για αριθμούς: οι μικροί αριθμοί καταλαμβάνουν 1 byte, οι μεγάλοι έως 10 bytes. Αυτό επιτρέπει αποτελεσματική κωδικοποίηση αναγνωριστικών, σημαιών και μετρητών που σε JSON ή XML θα καταλάμβαναν δεκάδες bytes ως συμβολοσειρές κειμένου. Για παράδειγμα, ο αριθμός 150 στο Protobuf καταλαμβάνει 2 bytes, στο JSON 3 bytes (ως κείμενο “150”), στο XML 3 bytes + ετικέτες.

Ένα πρόσθετο πλεονέκτημα είναι η προς τα πίσω συμβατότητα. Η προσθήκη νέου πεδίου σε ένα σχήμα δεν σπάει τους παλιούς πελάτες: απλά αγνοούν τα άγνωστα πεδία. Η διαγραφή πεδίου απαιτεί μόνο τη δέσμευση του αριθμού του για αποφυγή συγκρούσεων στο μέλλον.

Ορισμός σχήματος .proto

Το σχήμα .proto περιγράφει τη δομή δεδομένων σε μια ειδική γλώσσα. Το αρχείο ξεκινά με τον καθορισμό της σύνταξης (proto3), του πακέτου και των εισαγωγών εξαρτήσεων. Κάθε μήνυμα ορίζεται με τη λέξη-κλειδί message με πεδία, όπου κάθε πεδίο έχει τύπο, όνομα και μοναδικό αριθμό.

Κανόνες καλού σχήματος: αριθμοί πεδίων 1 έως 15 για συχνά χρησιμοποιούμενα πεδία, ουσιαστικά ονόματα, ομαδοποίηση σχετικών πεδίων σε ξεχωριστό message, χρήση oneof για πεδία που μπορούν να είναι μόνο μία από πολλές παραλλαγές.

syntax = "proto3";

package mobileapp;

message User {
  string user_id = 1;
  string name = 2;
  string email = 3;
  int32 age = 4;
  UserRole role = 5;
  repeated string tags = 6;
  map<string, string> metadata = 7;
}

enum UserRole {
  USER_ROLE_UNSPECIFIED = 0;
  USER_ROLE_USER = 1;
  USER_ROLE_ADMIN = 2;
  USER_ROLE_MODERATOR = 3;
}

Ένθετα μηνύματα

Τα μηνύματα μπορούν να είναι ένθετα: το πεδίο profile τύπου Profile θα περιέχει δεδομένα χρήστη. Η υποστήριξη ένθεσης επιτρέπει την περιγραφή πολύπλοκων ιεραρχικών δομών χωρίς διπλασιασμό ορισμών.

syntax = "proto3";

package mobileapp;

message Order {
  string order_id = 1;
  repeated OrderItem items = 2;
  double total_price = 3;
  PaymentInfo payment = 4;
}

message OrderItem {
  string product_id = 1;
  string title = 2;
  int32 quantity = 3;
  double price = 4;
}

message PaymentInfo {
  string method = 1;
  string transaction_id = 2;
  double amount = 3;
}

Δημιουργία κώδικα από .proto

Ο μεταγλωττιστής protoc μετατρέπει αρχεία .proto σε πηγαίο κώδικα στη γλώσσα-στόχο. Για Kotlin/Java χρησιμοποιείται η παράμετρος --java_out, για Swift --swift_out (μέσω του πρόσθετου Apple Swift Protobuf), για Dart --dart_out. Οι δημιουργούμενες κλάσεις περιέχουν μεθόδους builder για την κατασκευή μηνυμάτων και μεθόδους σειριοποίησης/αποσειριοποίησης.

Στο Android, για εργασία με Protobuf χρησιμοποιείται το πρόσθετο com.google.protobuf έκδοσης 0.9+ στο Gradle. Μετά την προσθήκη του πρόσθετου και τον καθορισμό αρχείων .proto, η μεταγλώττιση δημιουργεί αυτόματα κλάσεις Kotlin έτοιμες για χρήση στην εφαρμογή.

import com.google.protobuf.kotlin.toByteString
import com.example.mobileapp.UserOuterClass.User

fun createUser(): User {
    return User.newBuilder()
        .setUserId("usr_001")
        .setName("IT Sectr")
        .setEmail("team@itsectr.com")
        .setAge(5)
        .setRole(UserOuterClass.UserRole.USER_ROLE_ADMIN)
        .addTags("mobile")
        .addTags("backend")
        .build()
}

fun serializeAndDeserialize(user: User): User {
    // Σειριοποίηση σε δυαδική μορφή
    val bytes = user.toByteArray()

    // Αποσειριοποίηση από δυαδική μορφή
    return User.parseFrom(bytes)
}

Παραδείγματα χρήσης Protobuf

Protobuf είναι ιδιαίτερα αποδοτικό στην αρχιτεκτονική μικροϋπηρεσιών και εφαρμογών κινητών. Ας εξετάσουμε ένα τυπικό σενάριο: μια εφαρμογή κινητού λαμβάνει λίστα προϊόντων από τον διακομιστή μέσω gRPC. Το μήνυμα Protobuf περιέχει πληροφορίες προϊόντος, συμπεριλαμβανομένων αναγνωριστικού, ονόματος, τιμής και κατηγορίας. Η δυαδική μορφή μειώνει το μέγεθος απόκρισης 5-8 φορές σε σύγκριση με το JSON.

Υπηρεσία gRPC σε Kotlin

Παράδειγμα υπηρεσίας gRPC με Protobuf στην πλευρά διακομιστή. Η υπηρεσία δηλώνει τη μέθοδο RPC GetProducts, η οποία δέχεται αίτημα με παραμέτρους σελιδοποίησης και επιστρέφει λίστα προϊόντων. Η υλοποίηση σε Kotlin χρησιμοποιεί τις δημιουργούμενες κλάσεις για εργασία με αιτήματα και αποκρίσεις.

import com.example.mobileapp.ProductServiceGrpcKt
import com.example.mobileapp.ProductOuterClass.Product
import com.example.mobileapp.ProductOuterClass.GetProductsRequest
import com.example.mobileapp.ProductOuterClass.GetProductsResponse

class ProductService : ProductServiceGrpcKt.ProductServiceCoroutineImplBase() {

    override suspend fun getProducts(
        request: GetProductsRequest
    ): GetProductsResponse {
        val products = fetchProductsFromDb(
            page = request.page,
            limit = request.limit
        )

        return GetProductsResponse.newBuilder()
            .addAllProducts(products)
            .setTotalCount(products.size)
            .build()
    }
}

Ρύθμιση Protobuf σε έργο Android

Η ρύθμιση Protobuf σε έργο Android γίνεται μέσω του πρόσθετου Gradle com.google.protobuf. Το πρόσθετο εκκινεί αυτόματα τον μεταγλωττιστή protoc κατά τη μεταγλώττιση και δημιουργεί κλάσεις Kotlin από αρχεία .proto. Για λειτουργία, απαιτείται η προσθήκη του πρόσθετου στο build.gradle επιπέδου έργου και η εφαρμογή του στην ενότητα εφαρμογής.

Μετά τη ρύθμιση του Gradle, τα αρχεία .proto τοποθετούνται στον κατάλογο src/main/proto. Ο μεταγλωττιστής protoc τα επεξεργάζεται σε κάθε μεταγλώττιση, δημιουργώντας κλάσεις Kotlin που μπορούν να χρησιμοποιηθούν στον κώδικα της εφαρμογής. Είναι σημαντικό να καθοριστούν σωστά οι εκδόσεις protobuf και protoc για αποφυγή συγκρούσεων εξαρτήσεων με άλλες βιβλιοθήκες του έργου.

Για έργα iOS, το Protobuf συνδέεται μέσω CocoaPods ή Swift Package Manager. Το πρόσθετο Swift Protobuf δημιουργεί αυτόματα δομές Swift σύμφωνες με το πρωτόκολλο Codable. Σε έργα Dart για Flutter, χρησιμοποιείται το πακέτο protobuf και η μεταγλώττιση γίνεται μέσω dart run protoc_plugin.