Closed BetaとOpen Beta — アプリベータテストとは

アプリのベータテストとは

ベータテストは、公式リリース前に実際のユーザーでアプリケーションをテストする段階です。開発者やQAエンジニアがテストする内部テストとは異なり、ベータテストは外部のユーザーを対象に、実際のデバイス、データ、シナリオでアプリケーションを使用してもらいます。

ベータテストは、Closed Beta（クローズド）とOpen Beta（オープン）の2種類に分けられます。Google Playでは両方のトラックがデベロッパーコンソールから利用可能で、App StoreではTestFlightを介して利用できます。主な違いはアクセス方法にあります。Closed Betaは招待が必要で、Open Betaは公開リンクまたはストア検索を通じて利用できます。

ベータテストが必要な理由

Google Play Consoleの調査によると、ベータテストは内部テスト中に検出されなかった最大40%の重大なバグを発見します。実際のユーザーは、テスト環境では再現不可能なさまざまなデバイスモデル、OSバージョン、ネットワーク条件を使用します。ベータテストはまた、UX/UIや新機能に関する質的なフィードバックも収集します。

パイプラインにおけるベータテストの段階

一般的なパイプラインは次のようになります: 内部テスト → Closed Beta → Open Beta → Production。内部トラックで安定したら、ビルドは限定された外部ユーザー向けにClosed Betaに公開されます。フィードバックを収集してバグを修正した後、全員向けにOpen Betaに公開されます。最終的なプロダクションリリースは、Open Betaでの安定性が確認された後に行われます。

Closed Beta: 特徴と設定

Closed Betaは招待制のテストトラックです。開発者がメールアドレスのリストを指定するか、Google Groupを作成し、そのメンバーがベータ版にアクセスできます。Google Playでは、Closed Betaは最大10,000人のテスターをサポートしており、100人という内部テストの制限を大幅に上回ります。

Google PlayでのClosed Betaの設定

Closed Betaトラックを作成するには、Google Play Console → Release → Testing → Closed Betaに進みます。テスターダループを作成し、追加方法（メール、Google Group、招待リンク）を指定します。ビルドをアップロードしてGoogle Playが検証した後、システムがグループメンバーに招待状を送信します。

// Fastlane — Closed Betaトラックへの公開
lane :closed_beta_release do
    gradle(task: ":app:assembleRelease")
    
    upload_to_play_store(
        track: "beta",
        release_status: "draft",
        rollout: 1.0
    )
    
    promote_to_play_store(
        track: "beta",
        release_status: "completed"
    )
end

Closed Betaでのバージョン管理

Closed Betaトラックは個別のversionCode番号を使用します。内部テストやプロダクションと重複しないversionCode範囲を割り当てることをお勧めします。例えば、バージョン2.4.0の場合: Internal → versionCode 24000、Closed Beta → 24001、Open Beta → 24002、Production → 24003。これにより、トラック間でビルドを昇格する際の競合を防ぎます。

Open Beta: 公開テスト

Open Betaは、招待なしですべてのユーザーが利用できるトラックです。Google Playでは、Open BetaはストアにBetaラベル付きの個別のアプリカードとして表示されます。ユーザーは公開リンクから、またはGoogle Playでアプリを見つけてBecome a Testerをクリックすることでテストに参加できます。

Open Betaの利点

Open Betaはテストの最大のユーザーカバレッジを提供します。サンプルを開発者が決定するClosed Betaとは異なり、Open Betaは多様なデバイス、習慣、シナリオを持つユーザーを集めます。これにより、リリース前のアプリケーションの安定性の最も完全な姿が得られます。フィードバックはGoogle Play Ratingとアプリ内アンケートを通じて収集されます。

Google PlayでのOpen Betaの制限

Open Betaはどのデベロッパーアカウントでも利用できますが、公開前にモデレーションの承認が必要です。Google Playはプロダクションリリースと同様に、ビルドが基本要件に準拠しているか確認します。承認後、トラックはストアに公開され、ユーザーは登録できます。現在のインストールを失うことなく、いつでもOpen Betaをキャンセルできます。

TestFlightによるApp Storeでのベータテスト

Appleのエコシステムでは、外部ベータテストはTestFlight External Testingを通じて行われます。外部テスターの最大数は10,000人です。Google Playとは異なり、TestFlightはストア表示を伴う完全なOpen Betaをサポートしていません。アクセスは招待リンクまたはAppleの公開ページを通じてのみ配布されます。

TestFlight External Testing: プロセス

TestFlight External Testingにビルドを公開するには、開発者がXcodeまたはTransporterを介してIPAをアップロードし、その後Beta App Reviewが開始されます。Appleは完全なApp Reviewとは異なり、基本要件についてビルドを確認します。審査には1〜2日かかります。承認後、ビルドは最長90日間リンク経由で配布可能になります。期間を延長するには、新しいビルドをアップロードする必要があります。

TestFlightによるフィードバックの収集

TestFlightにはスクリーンショットとデバイスログを収集するための組み込みサポートがあります。テスターがデバイスを振ると、App Store Connectを通じて開発者にレポートが送信されます。各レポートには、スタックトレース、スクリーンショット、ビルドバージョン、デバイス情報が含まれます。これにより、テスターとの長いやり取りなしにバグの再現と修正が容易になります。

Google Play Consoleでのベータトラックの設定

Google Play ConsoleでのClosed BetaとOpen Betaの設定は、Release → Testingセクションで行います。プロセスには15〜30分かかり、初回使用前に一度トラックを設定する必要があります。両方のタイプのベータテストについて、ステップバイステップの手順を見ていきましょう。

Closed Betaへの公開

Google Play Consoleでテスターグループを作成し、ビルドをClosed Betaトラックにアップロードします。システムが基本要件を確認し、5〜15分でビルドがグループメンバーに利用可能になります。メンバーにはGoogle Playを通じて招待状とインストール手順が記載されたメールが届きます。

Open Betaへの公開

Open Betaトラックを選択し、ビルドをアップロードします。Closed Betaとは異なり、Open Betaはモデレーション（プロダクションリリースと同様）を通過する必要があり、24〜48時間かかります。承認後、アプリカードがGoogle PlayにBetaラベル付きで表示されます。ユーザーはBecome a Testerボタンからテストに参加できます。

ベータテストのベストプラクティス

ベータテストの効果は、プロセス組織の質に直接依存します。以下は、大手開発者の経験とGoogle Play Consoleの推奨事項に基づく実証済みのプラクティスです。これらのルールに従うことで、バグ発見率が40〜60%向上します。

• 100〜500人の信頼できるユーザーでClosed Betaから始める
• 安定性メトリクス（ANR、クラッシュ、フリーズ頻度）を収集する
• 組み込みフィードバックツール（Firebase、Crashlytics、TestFlight）を使用する
• Open Betaの前にClosed Betaで新機能のA/Bテストを実施する
• ベータテスト期間を設定する: Closedは7〜14日、Openは14〜30日

フィードバックとメトリクスの分析

ベータテスト完了後、すべてのレポートを収集し、バグを優先度に従って分類し、開発チームに引き渡します。Open Betaで発見されたバグは、プロダクションリリース前に修正する必要があります。ベータテストに参加したユーザーは、公式ローンチ後、最初のアクティブユーザーになることがよくあります。

ベータテスターとのコミュニケーション

テスターに最新情報を提供し続けます。新しいビルドを告知するには、Google PlayとTestFlightの組み込み通知を使用します。修正内容と新機能の説明を含む変更ログを維持します。Resolution Center（TestFlight）またはアプリページ（Google Play）でフィードバックに返信します。これにより、テスターのエンゲージメントが向上します。

ベータテストのパフォーマンスメトリクス

ベータテストを評価するための主要メトリクス: アクティブテスター数、バグを報告した割合、最初のレポートまでの平均時間、カバレッジ率（テストでカバーされたデバイスとOSバージョンの割合）。カバレッジ率が40%未満の場合は、対象を絞った招待メールで不足している構成のテスターを追加します。