Protobuf — apa itu, format data biner dan prinsip kerja

Apa itu Protocol Buffers?

Protocol Buffers adalah mekanisme serialisasi data terstruktur yang dikembangkan oleh Google, mirip dengan JSON dan XML, tetapi dengan perbedaan mendasar: data dikodekan dalam format biner. Ini berarti pesan Protobuf tidak dapat dibaca dengan mata telanjang, tetapi memakan lebih sedikit ruang dan diproses lebih cepat daripada padanan tekstual.

Protobuf diciptakan di internal Google untuk memecahkan masalah kinerja dalam pertukaran data antar layanan. Pada tahun 2008, teknologi ini menjadi proyek open-source dengan dukungan untuk banyak bahasa: C++, Java, Python, Go, JavaScript, Kotlin, Swift, Dart, dan lainnya. Versi proto3, dirilis pada tahun 2016, menyederhanakan sintaks dan menambahkan dukungan untuk lebih banyak bahasa.

Perbedaan utama antara Protobuf dan JSON adalah kebutuhan untuk mendefinisikan skema sebelum memulai pertukaran data. File skema (.proto) menjelaskan struktur pesan: bidang, tipe, dan nomor bidang unik. Dari skema ini, kompiler protoc menghasilkan kelas dalam bahasa target untuk serialisasi dan deserialisasi.

Ekosistem Protobuf

• gRPC — framework RPC berkinerja tinggi yang secara default menggunakan Protobuf
• protoc — kompiler skema .proto ke kode dalam berbagai bahasa pemrograman
• Google API — sebagian besar API publik Google menggunakan Protobuf
• Envoy Proxy — menggunakan Protobuf untuk konfigurasi dan pertukaran data

Arsitektur Protobuf

Arsitektur Protobuf mencakup tiga komponen kunci: bahasa definisi skema (.proto), kompiler protoc, dan pustaka runtime untuk bahasa tertentu. Pengembang menjelaskan struktur data dalam file .proto, menjalankan kompilasi, dan mendapatkan kelas siap pakai untuk bekerja dengan data ini.

Setiap bidang dalam pesan Protobuf memiliki nomor unik (field number) — ini bukan nomor urut, tetapi tag yang digunakan dalam format biner untuk mengidentifikasi bidang. Nomor 1 hingga 15 dikodekan dengan satu byte, nomor 16 hingga 2047 dengan dua byte. Oleh karena itu, bidang penting dengan frekuensi penggunaan tinggi sebaiknya diberi nomor 1 hingga 15 untuk mengoptimalkan ukuran.

Tipe Data Protobuf

Protobuf mendukung berbagai macam tipe: skalar (int32, int64, float, double, bool, string, bytes), enumerasi (enum), komposit (message), dan khusus (oneof, map). Setiap tipe memiliki representasi biner tertentu yang dioptimalkan untuk skenario penggunaan yang sesuai.

Keunggulan format biner

Protobuf memberikan tiga keunggulan utama dibandingkan format teks: ukuran pesan, kecepatan serialisasi, dan pengetikan ketat. Dalam sistem dengan beban tinggi dan aplikasi mobile dengan lalu lintas terbatas, keunggulan ini menjadi kritis.

Representasi biner Protobuf menggunakan variable-length encoding (Varint) untuk angka: angka kecil memakan 1 byte, angka besar hingga 10 byte. Ini memungkinkan pengkodean yang efisien untuk pengidentifikasi, bendera, dan penghitung yang dalam JSON atau XML akan memakan puluhan byte sebagai string teks. Misalnya, angka 150 dalam Protobuf memakan 2 byte, dalam JSON 3 byte (sebagai teks “150”), dalam XML 3 byte + tag.

Keunggulan tambahan adalah kompatibilitas mundur. Menambahkan bidang baru ke skema tidak merusak klien lama: mereka hanya mengabaikan bidang yang tidak dikenal. Menghapus bidang hanya memerlukan reservasi nomornya untuk menghindari bentrokan di masa depan.

Mendefinisikan skema .proto

Skema .proto menjelaskan struktur data dalam bahasa khusus. File dimulai dengan menentukan sintaks (proto3), paket, dan impor dependensi. Setiap pesan didefinisikan dengan kata kunci message dengan bidang, di mana setiap bidang memiliki tipe, nama, dan nomor unik.

Aturan skema yang baik: nomor bidang 1 hingga 15 untuk bidang yang sering digunakan, nama yang bermakna, pengelompokan bidang terkait dalam message terpisah, penggunaan oneof untuk bidang yang hanya dapat menjadi salah satu dari beberapa varian.

syntax = "proto3";

package mobileapp;

message User {
  string user_id = 1;
  string name = 2;
  string email = 3;
  int32 age = 4;
  UserRole role = 5;
  repeated string tags = 6;
  map<string, string> metadata = 7;
}

enum UserRole {
  USER_ROLE_UNSPECIFIED = 0;
  USER_ROLE_USER = 1;
  USER_ROLE_ADMIN = 2;
  USER_ROLE_MODERATOR = 3;
}

Pesan bersarang

Pesan dapat bersarang: bidang profile bertipe Profile akan berisi data pengguna. Dukungan untuk bersarang memungkinkan deskripsi struktur hierarkis yang kompleks tanpa duplikasi definisi.

syntax = "proto3";

package mobileapp;

message Order {
  string order_id = 1;
  repeated OrderItem items = 2;
  double total_price = 3;
  PaymentInfo payment = 4;
}

message OrderItem {
  string product_id = 1;
  string title = 2;
  int32 quantity = 3;
  double price = 4;
}

message PaymentInfo {
  string method = 1;
  string transaction_id = 2;
  double amount = 3;
}

Generasi kode dari .proto

Kompiler protoc mengonversi file .proto menjadi kode sumber dalam bahasa target. Untuk Kotlin/Java digunakan parameter --java_out, untuk Swift --swift_out (melalui plugin Apple Swift Protobuf), untuk Dart --dart_out. Kelas yang dihasilkan berisi metode builder untuk membangun pesan dan metode serialisasi/deserialisasi.

Di Android, untuk bekerja dengan Protobuf digunakan plugin com.google.protobuf versi 0.9+ di Gradle. Setelah menambahkan plugin dan menentukan file .proto, kompilasi secara otomatis menghasilkan kelas Kotlin yang siap digunakan dalam aplikasi.

import com.google.protobuf.kotlin.toByteString
import com.example.mobileapp.UserOuterClass.User

fun createUser(): User {
    return User.newBuilder()
        .setUserId("usr_001")
        .setName("IT Sectr")
        .setEmail("team@itsectr.com")
        .setAge(5)
        .setRole(UserOuterClass.UserRole.USER_ROLE_ADMIN)
        .addTags("mobile")
        .addTags("backend")
        .build()
}

fun serializeAndDeserialize(user: User): User {
    // Serialisasi ke format biner
    val bytes = user.toByteArray()

    // Deserialisasi dari format biner
    return User.parseFrom(bytes)
}

Contoh penggunaan Protobuf

Protobuf sangat efisien dalam arsitektur layanan mikro dan aplikasi mobile. Mari pertimbangkan skenario umum: aplikasi mobile menerima daftar produk dari server melalui gRPC. Pesan Protobuf berisi informasi produk, termasuk pengidentifikasi, nama, harga, dan kategori. Format biner mengurangi ukuran respons 5-8 kali dibandingkan dengan JSON.

Layanan gRPC di Kotlin

Contoh layanan gRPC dengan Protobuf di sisi server. Layanan mendeklarasikan metode RPC GetProducts yang menerima permintaan dengan parameter paginasi dan mengembalikan daftar produk. Implementasi di Kotlin menggunakan kelas yang dihasilkan untuk bekerja dengan permintaan dan respons.

import com.example.mobileapp.ProductServiceGrpcKt
import com.example.mobileapp.ProductOuterClass.Product
import com.example.mobileapp.ProductOuterClass.GetProductsRequest
import com.example.mobileapp.ProductOuterClass.GetProductsResponse

class ProductService : ProductServiceGrpcKt.ProductServiceCoroutineImplBase() {

    override suspend fun getProducts(
        request: GetProductsRequest
    ): GetProductsResponse {
        val products = fetchProductsFromDb(
            page = request.page,
            limit = request.limit
        )

        return GetProductsResponse.newBuilder()
            .addAllProducts(products)
            .setTotalCount(products.size)
            .build()
    }
}

Konfigurasi Protobuf di proyek Android

Konfigurasi Protobuf di proyek Android dilakukan melalui plugin Gradle com.google.protobuf. Plugin secara otomatis menjalankan kompiler protoc saat kompilasi dan menghasilkan kelas Kotlin dari file .proto. Untuk bekerja, plugin perlu ditambahkan ke build.gradle tingkat proyek dan diterapkan di modul aplikasi.

Setelah mengonfigurasi Gradle, file .proto ditempatkan di direktori src/main/proto. Kompiler protoc memprosesnya pada setiap kompilasi, menghasilkan kelas Kotlin yang dapat digunakan dalam kode aplikasi. Penting untuk menentukan versi protobuf dan protoc dengan benar untuk menghindari konflik dependensi dengan pustaka lain proyek.

Untuk proyek iOS, Protobuf dihubungkan melalui CocoaPods atau Swift Package Manager. Plugin Swift Protobuf secara otomatis menghasilkan struktur Swift yang sesuai dengan protokol Codable. Di proyek Dart untuk Flutter, digunakan paket protobuf, dan kompilasi dilakukan melalui dart run protoc_plugin.