Closed dan Open Beta — apa itu, cara kerja pengujian beta aplikasi

Apa itu pengujian beta aplikasi

Pengujian beta adalah tahap pemeriksaan aplikasi pada pengguna nyata sebelum rilis resmi. Berbeda dengan Internal Testing, di mana pengembang dan insinyur QA yang menguji, pengujian beta dilakukan pada audiens eksternal yang menggunakan aplikasi dalam kondisi nyata, pada perangkat mereka sendiri, dengan data dan skenario mereka sendiri.

Pengujian beta dibagi menjadi dua jenis: Closed Beta (tertutup) dan Open Beta (terbuka). Di Google Play, kedua trek tersedia melalui konsol pengembang, di App Store — melalui TestFlight. Perbedaan utama terletak pada metode akses: Closed Beta memerlukan undangan, Open Beta dapat diakses melalui tautan publik atau pencarian toko.

Mengapa pengujian beta diperlukan

Menurut penelitian Google Play Console, pengujian beta menemukan hingga 40% kesalahan kritis yang tidak terdeteksi pada tahap Internal Testing. Pengguna nyata menggunakan model perangkat, versi sistem operasi, dan kondisi jaringan yang berbeda yang tidak dapat direproduksi di lingkungan pengujian. Pengujian beta juga mengumpulkan umpan balik kualitatif tentang UX/UI dan fitur baru.

Tahapan pengujian beta dalam pipeline

Pipeline tipikal terlihat seperti ini: Internal Testing → Closed Beta → Open Beta → Production. Setelah stabilisasi di trek Internal, build dipublikasikan di Closed Beta untuk audiens eksternal terbatas. Setelah mengumpulkan umpan balik dan memperbaiki kesalahan — di Open Beta untuk semua orang. Rilis produksi final dilakukan setelah konfirmasi stabilitas di Open Beta.

Closed Beta: fitur dan konfigurasi

Closed Beta adalah trek pengujian dengan akses berdasarkan undangan. Pengembang menentukan daftar alamat email atau membuat grup Google Group yang anggotanya mendapatkan akses ke versi beta. Di Google Play, Closed Beta mendukung hingga 10.000 penguji, yang secara signifikan melebihi batas Internal Testing sebanyak 100 orang.

Konfigurasi Closed Beta di Google Play

Untuk membuat trek Closed Beta, buka Google Play Console → Release → Testing → Closed Beta. Buat grup penguji dan tentukan metode penambahan: melalui email, Google Group, atau tautan undangan. Setelah build diunggah dan diperiksa oleh Google Play, sistem mengirimkan undangan kepada anggota grup.

// Fastlane — publikasi di trek Closed Beta
lane :closed_beta_release do
    gradle(task: ":app:assembleRelease")
    
    upload_to_play_store(
        track: "beta",
        release_status: "draft",
        rollout: 1.0
    )
    
    promote_to_play_store(
        track: "beta",
        release_status: "completed"
    )
end

Manajemen versi di Closed Beta

Trek Closed Beta menggunakan nomor versi kode terpisah. Disarankan untuk mengalokasikan rentang versionCode yang tidak tumpang tindih dengan Internal Testing dan Production. Misalnya, untuk versi 2.4.0: Internal → versionCode 24000, Closed Beta → 24001, Open Beta → 24002, Production → 24003. Ini mencegah konflik saat mempromosikan build antar trek.

Open Beta: pengujian publik

Open Beta adalah trek yang dapat diakses oleh semua pengguna tanpa undangan. Di Google Play, Open Beta ditampilkan di toko sebagai kartu aplikasi terpisah dengan label Beta. Setiap pengguna dapat bergabung dengan pengujian melalui tautan publik atau dengan menemukan aplikasi di Google Play dan mengklik Become a Tester.

Keuntungan Open Beta

Open Beta memberikan cakupan audiens maksimal untuk pengujian. Berbeda dengan Closed Beta di mana sampel ditentukan oleh pengembang, Open Beta menarik pengguna dengan perangkat yang beragam, kebiasaan, dan skenario yang berbeda. Ini memberikan gambaran paling lengkap tentang stabilitas aplikasi sebelum rilis. Pengumpulan umpan balik dilakukan melalui Google Play Rating dan kuesioner dalam aplikasi.

Keterbatasan Open Beta di Google Play

Open Beta tersedia untuk akun pengembang mana pun, tetapi memerlukan melewati moderasi sebelum publikasi. Google Play memeriksa build untuk kepatuhan terhadap persyaratan dasar, seperti halnya rilis produksi. Setelah disetujui, trek dipublikasikan di toko dan pengguna mana pun dapat berlangganan. Open Beta dapat dibatalkan kapan saja tanpa kehilangan instalasi saat ini.

Pengujian beta di App Store melalui TestFlight

Di ekosistem Apple, pengujian beta eksternal dilakukan melalui TestFlight External Testing. Jumlah maksimum penguji eksternal adalah 10.000 orang. Berbeda dengan Google Play, TestFlight tidak mendukung Open Beta penuh dengan tampilan di toko — akses hanya didistribusikan melalui tautan undangan atau halaman publik Apple.

Proses TestFlight External Testing

Untuk mempublikasikan build di TestFlight External Testing, pengembang mengunggah IPA melalui Xcode atau Transporter, setelah itu Beta App Review dimulai. Apple memeriksa build untuk persyaratan dasar — tidak seperti App Review penuh, pemeriksaan memakan waktu 1–2 hari. Setelah disetujui, build tersedia untuk distribusi melalui tautan hingga 90 hari. Untuk memperpanjang masa berlaku, diperlukan unggahan build baru.

Pengumpulan umpan balik melalui TestFlight

TestFlight mendukung secara built-in pengumpulan tangkapan layar dan log perangkat. Saat perangkat diguncang, penguji mengirimkan laporan kepada pengembang melalui App Store Connect. Setiap laporan berisi stack trace, tangkapan layar, versi build, dan informasi perangkat. Ini menyederhanakan reproduksi dan perbaikan kesalahan tanpa korespondensi panjang dengan penguji.

Konfigurasi trek beta di Google Play Console

Konfigurasi Closed dan Open Beta di Google Play Console dilakukan di bagian Release → Testing. Proses memakan waktu 15–30 menit dan memerlukan konfigurasi trek satu kali sebelum penggunaan pertama. Mari kita lihat petunjuk langkah demi langkah untuk kedua jenis pengujian beta.

Publikasi di Closed Beta

Di Google Play Console, buat grup penguji dan unggah build ke trek Closed Beta. Sistem akan memeriksa persyaratan dasar dan setelah 5–15 menit build akan tersedia bagi anggota grup. Anggota menerima email dengan undangan dan petunjuk instalasi melalui Google Play.

Publikasi di Open Beta

Pilih trek Open Beta dan unggah build. Berbeda dengan Closed Beta, Open Beta melalui moderasi (seperti rilis produksi) yang memakan waktu 24–48 jam. Setelah disetujui, kartu aplikasi muncul di Google Play dengan label Beta. Pengguna dapat bergabung dengan pengujian melalui tombol Become a Tester.

Praktik terbaik pengujian beta

Efektivitas pengujian beta secara langsung tergantung pada kualitas organisasi proses. Di bawah ini adalah praktik terbukti berdasarkan pengalaman pengembang besar dan rekomendasi Google Play Console. Mematuhi aturan-aturan ini meningkatkan tingkat deteksi kesalahan sebesar 40–60%.

• Mulailah dengan Closed Beta pada audiens tepercaya 100–500 orang
• Kumpulkan metrik stabilitas: ANR, crash, frekuensi pembekuan
• Gunakan alat bawaan pengumpulan umpan balik (Firebase, Crashlytics, TestFlight)
• Lakukan pengujian A/B fitur baru di Closed Beta sebelum Open Beta
• Tetapkan durasi pengujian beta: 7–14 hari untuk Closed, 14–30 hari untuk Open

Analisis umpan balik dan metrik

Setelah pengujian beta selesai, kumpulkan semua laporan, klasifikasikan kesalahan berdasarkan prioritas, dan serahkan ke pengembangan. Kesalahan yang ditemukan di Open Beta harus diperbaiki sebelum rilis produksi. Pengguna yang berpartisipasi dalam pengujian beta sering menjadi pengguna aktif pertama setelah peluncuran resmi.

Komunikasi dengan penguji beta

Beri tahu penguji tentang pembaruan. Gunakan notifikasi bawaan Google Play dan TestFlight untuk mengumumkan build baru. Buat changelog dengan deskripsi perbaikan dan fitur baru. Tanggapi umpan balik di Resolution Center (TestFlight) atau di halaman aplikasi (Google Play) — ini meningkatkan keterlibatan penguji.

Metrik efektivitas pengujian beta

Metrik kunci untuk mengevaluasi pengujian beta: jumlah penguji aktif, persentase pelapor kesalahan, waktu rata-rata hingga laporan pertama, dan Coverage Rate — persentase perangkat dan versi OS yang tercakup dalam pengujian. Jika Coverage Rate di bawah 40%, tambahkan penguji dengan konfigurasi yang kurang melalui pengiriman undangan yang ditargetkan.