Closed und Open Beta — Was es ist, wie App-Beta-Testing funktioniert

Was ist App-Beta-Testing

Beta-Testing ist eine Phase der Anwendungsprüfung mit echten Benutzern vor der offiziellen Veröffentlichung. Im Gegensatz zum Internal Testing, bei dem Entwickler und QA-Ingenieure testen, werden Beta-Tests mit einem externen Publikum durchgeführt, das die Anwendung unter realen Bedingungen mit eigenen Geräten, Daten und Szenarien nutzt.

Beta-Testing wird in zwei Typen unterteilt: Closed Beta (geschlossen) und Open Beta (offen). In Google Play sind beide Tracks über die Developer Console verfügbar, im App Store — über TestFlight. Der Hauptunterschied liegt in der Zugangsmethode: Closed Beta erfordert eine Einladung, Open Beta ist über einen öffentlichen Link oder die Storesuche verfügbar.

Warum Beta-Testing notwendig ist

Laut einer Studie der Google Play Console decken Beta-Tests bis zu 40% der kritischen Fehler auf, die während des Internal Testing nicht erkannt wurden. Echte Benutzer verwenden unterschiedliche Gerätemodelle, Betriebssystemversionen und Netzwerkbedingungen, die in einer Testumgebung nicht reproduzierbar sind. Beta-Testing sammelt auch qualitatives Feedback zu UX/UI und neuen Funktionen.

Phasen des Beta-Testings in der Pipeline

Eine typische Pipeline sieht so aus: Internal Testing → Closed Beta → Open Beta → Production. Nach der Stabilisierung auf dem Internal-Track wird der Build in Closed Beta für ein begrenztes externes Publikum veröffentlicht. Nach dem Sammeln von Feedback und der Fehlerbehebung — in Open Beta für alle. Die endgültige Produktionsveröffentlichung erfolgt nach Bestätigung der Stabilität in Open Beta.

Closed Beta: Funktionen und Einrichtung

Closed Beta ist ein Testtrack mit Zugang nur auf Einladung. Der Entwickler gibt eine Liste von E-Mail-Adressen an oder erstellt eine Google Group, deren Mitglieder Zugriff auf die Beta-Version erhalten. In Google Play unterstützt Closed Beta bis zu 10.000 Tester, was die Internal-Testing-Grenze von 100 Personen deutlich übersteigt.

Einrichtung von Closed Beta in Google Play

Um einen Closed-Beta-Track zu erstellen, gehen Sie zu Google Play Console → Release → Testing → Closed Beta. Erstellen Sie eine Testergruppe und geben Sie die Hinzufügungsmethode an: per E-Mail, über Google Group oder über einen Einladungslink. Nach dem Hochladen des Builds und seiner Überprüfung durch Google Play sendet das System Einladungen an die Gruppenmitglieder.

// Fastlane — Veröffentlichung im Closed-Beta-Track
lane :closed_beta_release do
    gradle(task: ":app:assembleRelease")
    
    upload_to_play_store(
        track: "beta",
        release_status: "draft",
        rollout: 1.0
    )
    
    promote_to_play_store(
        track: "beta",
        release_status: "completed"
    )
end

Versionsverwaltung in Closed Beta

Der Closed-Beta-Track verwendet eine separate versionCode-Nummer. Es wird empfohlen, einen versionCode-Bereich zuzuweisen, der sich nicht mit Internal Testing und Production überschneidet. Zum Beispiel für Version 2.4.0: Internal → versionCode 24000, Closed Beta → 24001, Open Beta → 24002, Production → 24003. Dies verhindert Konflikte beim Promoten eines Builds zwischen Tracks.

Open Beta: Öffentliche Tests

Open Beta ist ein Track, der ohne Einladung für alle Benutzer verfügbar ist. In Google Play erscheint Open Beta im Store als separate App-Karte mit dem Beta-Label. Jeder Benutzer kann über einen öffentlichen Link oder durch Suchen der App in Google Play und Klicken auf Become a Tester am Test teilnehmen.

Vorteile von Open Beta

Open Beta bietet die maximale Zielgruppenabdeckung für Tests. Im Gegensatz zu Closed Beta, wo die Stichprobe vom Entwickler bestimmt wird, zieht Open Beta Benutzer mit unterschiedlichen Geräten, Gewohnheiten und Szenarien an. Dies ergibt das vollständigste Bild der Anwendungsstabilität vor der Veröffentlichung. Feedback wird über Google Play Rating und In-App-Umfragen gesammelt.

Einschränkungen von Open Beta in Google Play

Open Beta ist für jedes Entwicklerkonto verfügbar, erfordert jedoch Moderationsgenehmigung vor der Veröffentlichung. Google Play überprüft den Build auf Einhaltung der grundlegenden Anforderungen, ähnlich wie bei einer Produktionsveröffentlichung. Nach der Genehmigung wird der Track im Store veröffentlicht und jeder Benutzer kann ihn abonnieren. Sie können Open Beta jederzeit kündigen, ohne aktuelle Installationen zu verlieren.

Beta-Testing im App Store via TestFlight

Im Apple-Ökosystem wird externes Beta-Testing über TestFlight External Testing durchgeführt. Die maximale Anzahl externer Tester beträgt 10.000 Personen. Im Gegensatz zu Google Play unterstützt TestFlight keine vollständige Open Beta mit Store-Anzeige — der Zugang wird nur über einen Einladungslink oder eine öffentliche Apple-Seite verteilt.

TestFlight External Testing: Prozess

Um einen Build in TestFlight External Testing zu veröffentlichen, lädt der Entwickler ein IPA über Xcode oder Transporter hoch, woraufhin die Beta App Review beginnt. Apple überprüft den Build auf grundlegende Anforderungen — im Gegensatz zu einer vollständigen App Review dauert die Überprüfung 1–2 Tage. Nach der Genehmigung ist der Build bis zu 90 Tage lang über einen Link zur Verteilung verfügbar. Zur Verlängerung muss ein neuer Build hochgeladen werden.

Feedback-Sammlung via TestFlight

TestFlight bietet integrierte Unterstützung für die Sammlung von Screenshots und Geräteprotokollen. Wenn der Tester das Gerät schüttelt, wird ein Bericht über App Store Connect an den Entwickler gesendet. Jeder Bericht enthält einen Stack-Trace, Screenshot, Build-Version und Geräteinformationen. Dies vereinfacht die Reproduktion und Behebung von Fehlern ohne langwierige Korrespondenz mit dem Tester.

Einrichtung von Beta-Tracks in der Google Play Console

Die Einrichtung von Closed und Open Beta in der Google Play Console erfolgt im Abschnitt Release → Testing. Der Vorgang dauert 15–30 Minuten und erfordert eine einmalige Track-Konfiguration vor der ersten Nutzung. Lassen Sie uns die Schritt-für-Schritt-Anleitung für beide Arten von Beta-Testing durchgehen.

Veröffentlichung in Closed Beta

Erstellen Sie in der Google Play Console eine Testergruppe und laden Sie den Build in den Closed-Beta-Track hoch. Das System überprüft die grundlegenden Anforderungen und innerhalb von 5–15 Minuten wird der Build für Gruppenmitglieder verfügbar. Die Mitglieder erhalten eine E-Mail mit einer Einladung und Installationsanweisungen über Google Play.

Veröffentlichung in Open Beta

Wählen Sie den Open-Beta-Track und laden Sie den Build hoch. Im Gegensatz zu Closed Beta durchläuft Open Beta eine Moderation (wie eine Produktionsveröffentlichung), die 24–48 Stunden dauert. Nach der Genehmigung erscheint die App-Karte in Google Play mit dem Beta-Label. Benutzer können über die Schaltfläche Become a Tester am Test teilnehmen.

Bewährte Methoden für Beta-Testing

Die Effektivität von Beta-Testing hängt direkt von der Qualität der Prozessorganisation ab. Nachfolgend finden Sie bewährte Methoden, die auf Erfahrungen großer Entwickler und Empfehlungen der Google Play Console basieren. Die Befolgung dieser Regeln erhöht die Fehlererkennungsrate um 40–60%.

• Beginnen Sie mit Closed Beta mit einem vertrauenswürdigen Publikum von 100–500 Personen
• Sammeln Sie Stabilitätsmetriken: ANR, Abstürze, Einfrierhäufigkeit
• Verwenden Sie integrierte Feedback-Tools (Firebase, Crashlytics, TestFlight)
• Führen Sie A/B-Tests neuer Funktionen in Closed Beta vor Open Beta durch
• Legen Sie eine Beta-Testdauer fest: 7–14 Tage für Closed, 14–30 Tage für Open

Analyse von Feedback und Metriken

Nach Abschluss des Beta-Tests sammeln Sie alle Berichte, klassifizieren Sie Fehler nach Priorität und übergeben Sie sie an die Entwicklung. In Open Beta entdeckte Fehler müssen vor der Produktionsveröffentlichung behoben werden. Benutzer, die am Beta-Test teilgenommen haben, werden oft zu den ersten aktiven Benutzern nach dem offiziellen Start.

Kommunikation mit Beta-Testern

Halten Sie Tester über Updates auf dem Laufenden. Verwenden Sie die integrierten Benachrichtigungen von Google Play und TestFlight, um neue Builds anzukündigen. Führen Sie ein Changelog mit Beschreibungen der Fehlerbehebungen und neuen Funktionen. Antworten Sie auf Feedback im Resolution Center (TestFlight) oder auf der App-Seite (Google Play) — dies erhöht das Engagement der Tester.

Beta-Test-Leistungsmetriken

Wichtige Metriken zur Bewertung eines Beta-Tests: Anzahl aktiver Tester, Prozentsatz der Fehlermelder, durchschnittliche Zeit bis zum ersten Bericht und Coverage Rate — Prozentsatz der vom Test abgedeckten Geräte und OS-Versionen. Wenn die Coverage Rate unter 40% liegt, fügen Sie Tester mit fehlenden Konfigurationen durch gezielte Einladungs-E-Mails hinzu.