Device Farm: Was es ist, Cloud-Dienste und reale Geräte

Was ist Device Farm

Device Farm ist eine Infrastrukturlösung zum Testen mobiler Anwendungen, die Remote-Zugriff auf physische und virtuelle Geräte über das Internet bietet. Anders als beim Kauf und der Wartung eines eigenen Gerätelabors mieten Entwickler Zeit auf Geräten Dritter und zahlen nur für die tatsächliche Nutzung.

Warum Device Farm benötigt wird

Der Markt für Mobilgeräte umfasst laut OpenSignal, 2025 über 24.000 einzigartige Android-Smartphone-Modelle. Die physische Anschaffung aller beliebten Modelle zum Testen ist unmöglich — es würde Millionen von Dollar an Investitionen und ständige Flottenaktualisierungen erfordern. Device Farm löst dieses Problem, indem es Zugriff auf aktuelle Geräte im Abonnement bietet.

Physische Geräte vs Emulatoren

Emulatoren und Simulatoren decken nur 60–70% der Testszenarien ab. Reale Geräte sind notwendig, um Sensoren, Kamera, GPS, Akkustand, Leistung auf schwacher Hardware und das Verhalten bei eingehenden Anrufen zu testen. Device Farm kombiniert beide Ansätze: Emulatoren für schnelle Smoke-Tests und physische Geräte für die vollständige Verifikation.

Für wen Device Farm geeignet ist

Device Farm eignet sich für Startups, die ihre erste App veröffentlichen, für reife Produktteams mit regelmäßigen Releases und Enterprise-Projekte mit Dutzenden von Anwendungen. Der Wert steigt mit der Anzahl der Zielgeräte und der Release-Häufigkeit — je mehr Konfigurationen getestet werden müssen, desto kosteneffizienter wird das Cloud-Modell.

Wie Device Farm funktioniert

Ein typischer Workflow mit Device Farm besteht aus fünf Schritten: Build hochladen, Geräte auswählen, Tests konfigurieren, ausführen und Ergebnisse analysieren. Jeder Schritt wird über die API automatisiert, sodass Device Farm ohne manuelles Eingreifen in eine CI/CD-Pipeline eingebettet werden kann.

Anwendung hochladen

Der Entwickler lädt die kompilierte APK (Android), AAB oder IPA (iOS) in den Cloud-Speicher des Anbieters hoch. Einige Dienste, wie Firebase Test Lab, akzeptieren auch Xcode- oder Android Studio-Projekte direkt. Die Dateigröße ist begrenzt: AWS Device Farm unterstützt bis zu 200 MB, BrowserStack bis zu 500 MB.

Konfigurationen auswählen

Zielmodelle und OS-Versionen werden aus dem Gerätekatalog ausgewählt. Moderne Device Farms unterstützen Gruppierung: „Alle Flaggschiffe 2024–2025“ oder „Budget-Android mit Android 13–14.“ Die parallele Ausführung ermöglicht es, einen Test gleichzeitig auf 10–50 Geräten auszuführen und die Gesamtzeit auf Minuten zu reduzieren.

Ausführung und Überwachung

Die Tests werden auf echten Geräten in den Rechenzentren des Anbieters ausgeführt. Der Entwickler überwacht den Fortschritt über eine Echtzeit-Webkonsole: Logs, Screenshots und Testlaufvideos. Wenn ein Test fehlschlägt, macht Device Farm einen Screenshot und sammelt ein Crash-Log für die Diagnose.

// Beispiel einer Device-Farm-Konfiguration in der Jenkinsfile
pipeline {
    agent any
    stages {
        stage('Build') {
            steps {
                sh './gradlew assembleDebug'
            }
        }
        stage('Device Farm Tests') {
            steps {
                sh '''aws device-farm schedule-run
                    --project-arn arn:aws:devicefarm:us-west-2:123:project:1
                    --app-arn arn:aws:devicefarm:us-west-2:123:app:1
                    --device-pool-arn arn:aws:devicefarm:us-west-2:123:pool:1
                    --test-arn arn:aws:devicefarm:us-west-2:123:test:1'''
            }
        }
    }
}

Hauptfunktionen von Device Farm

Moderne Device Farms bieten nicht nur die Ausführung von Tests, sondern auch unterstützende Werkzeuge für Diagnose, Leistungsüberwachung und Integration mit anderen Entwicklungsdiensten. Die Funktionspalette variiert zwischen den Anbietern, aber der Kern bleibt gleich.

Automatisierte Tests

Alle wichtigen Frameworks werden unterstützt: Espresso und UI Automator für Android, XCTest und XCUITest für iOS, Appium und Calabash für plattformübergreifende Projekte. Device Farm führt Tests ohne Codeänderungen aus — geben Sie einfach das Test-Framework bei der Konfiguration an.

Manuelles interaktives Testen

Der Entwickler erhält Remote-Zugriff auf ein echtes Gerät über einen Browser: Berührungen, Wischbewegungen, Bildschirmdrehung, Tastendrücke — alle Aktionen werden in Echtzeit übertragen. Der interaktive Modus ist unverzichtbar für die Reproduktion seltener Fehler, die nicht von automatischen Tests abgedeckt werden. AWS Device Farm bietet bis zu 60 Minuten manuelle Sitzungen ohne Aufpreis.

Diagnosedatenerfassung

Nach jedem Durchlauf erstellt Device Farm einen Bericht: Videoaufzeichnung des Tests, schrittweise Screenshots, Gerätelogs (logcat für Android, syslog für iOS), Leistungsdaten (CPU, Speicher, Netzwerk) und Crash-Stacks. Diese Daten helfen, Probleme zu lokalisieren, ohne sie auf einem lokalen Gerät reproduzieren zu müssen.

CI/CD-Integration

Alle großen Device Farms bieten Plugins für Jenkins, GitLab CI, GitHub Actions und CircleCI. Webhook-Benachrichtigungen informieren das Team über Testergebnisse per Slack, Telegram oder E-Mail. Die Einrichtung der CI/CD-Integration ist eine Standardpraxis für Teams, die kontinuierliche Bereitstellung praktizieren.

Beliebte Device Farm Anbieter

Der Device Farm-Markt wird durch drei Hauptkategorien repräsentiert: Allzweck-Cloud-Anbieter (AWS), spezialisierte Testdienste (BrowserStack) und Plattform-Ökosystem-Tools (Firebase). Die Wahl hängt vom Technologie-Stack und Team-Budget ab.

AWS Device Farm

Integriert in das Amazon Web Services Ökosystem. Entwickler, die bereits AWS für Hosting und CI/CD nutzen, erhalten einen einzigen Vertrag und eine nahtlose Integration mit CodePipeline und CodeBuild. AWS Device Farm unterstützt Tests von Android-, iOS- und Webanwendungen auf physischen Geräten und Emulatoren.

BrowserStack App Automate

Der größte unabhängige Anbieter mit einer Flotte von über 3.000 echten Geräten. BrowserStack ist bekannt für seine benutzerfreundliche Weboberfläche, schnelle Gerätebereitstellung (10–15 Sekunden) und Unterstützung für Appium ohne komplexe Konfiguration. Der Dienst aktualisiert seine Geräteflotte automatisch innerhalb einer Woche nach der Veröffentlichung eines neuen Modells.

Firebase Test Lab

Ein kostenloser Dienst von Google für Android-Anwendungen mit eingeschränkter iOS-Testunterstützung. Firebase Test Lab ist besonders attraktiv für Startups: Basistestszenarien sind ohne Abonnement verfügbar. Die Integration mit Firebase Console und Crashlytics ermöglicht es, Testfehler mit echten Crashes in der Produktion zu verknüpfen.

Andere Anbieter

Der Markt umfasst Samsung Remote Test Lab (kostenloser Zugang zu Samsung-Geräten), Kobiton (unternehmensorientiert mit On-Premise-Bereitstellung), Perfecto (übernommen von Perforce, Fokus auf den Finanzsektor) und Sauce Labs (einer der ältesten Dienste, jetzt Teil von Tricentis).

Beispiel für Testausführung auf Device Farm

Betrachten wir die Integration von Firebase Test Lab mit der Befehlszeile für eine Android-App. Firebase Test Lab führt Tests über die gcloud CLI aus, was die Integration in jede CI-Pipeline ohne zusätzliche Plugins ermöglicht. Das Beispiel zeigt eine minimale Smoke-Test-Konfiguration auf drei Geräten.

# Installation der gcloud CLI und Anmeldung
gcloud auth login
gcloud config set project my-android-app

# Hochladen der APK in Firebase Test Lab
gcloud firebase test android run \
    --app app-debug.apk \
    --test app-debug-test.apk \
    --type instrumentation \
    --device model=Pixel7,version=34 \
    --device model=SamsungS23,version=33 \
    --device model=OnePlus12,version=34 \
    --timeout 30m \
    --results-bucket gs://my-app-test-results

Der Befehl lädt zwei Dateien hoch: den Build selbst und die Test-APK mit Espresso-Instrumentierungstests. Firebase Test Lab wählt automatisch die neueste verfügbare OS-Version für jedes Modell aus, wenn die Version nicht explizit angegeben ist. Die Ergebnisse werden im Google Cloud Storage im XML- und HTML-Format zur Ansicht im Browser gespeichert.

GitHub Actions Integration

Für die automatische Ausführung bei jedem Push verwenden Sie GitHub Actions. Der Workflow erstellt die App, führt Firebase Test Lab aus und gibt den Prüfstatus zurück.

name: Android CI with Device Farm
on: [push]
jobs:
  test-on-devices:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-java@v4
        with:
          distribution: temurin
          java-version: 17
      - run: ./gradlew assembleDebug assembleDebugAndroidTest
      - uses: google-github-actions/auth@v2
        with:
          credentials_json: ${{ secrets.GCP_SA_KEY }}
      - run: gcloud firebase test android run
          --app app/build/outputs/apk/debug/app-debug.apk
          --test app/build/outputs/apk/androidTest/debug/app-debug-test.apk
          --device model=Pixel8,version=35

Preismodelle von Device Farm

Die Kosten für Device Farm hängen von mehreren Parametern ab: Anzahl der parallelen Sitzungen, Gerätetyp (physisch oder Emulator), Testdauer und zusätzliche Funktionen. Es ist wichtig, die Kostenstruktur vor der Wahl eines Anbieters zu verstehen, um unerwartete Ausgaben bei der Skalierung zu vermeiden.

Testminuten

Die meisten Anbieter berechnen die tatsächliche Gerätenutzungszeit. Physische Geräte kosten 2–5 Mal mehr als Emulatoren. AWS Device Farm bietet 1000 kostenlose Minuten pro Monat für neue Konten, BrowserStack — 60 Minuten Testzeitraum. Die durchschnittlichen Kosten pro Minute auf einem physischen Android-Gerät betragen $0,05–0,17.

Team-Abonnement

Für regelmäßige Tests ist ein festes Abonnement kostengünstiger. BrowserStack bietet einen Team-Plan für $299/Monat für 3 Benutzer mit unbegrenzten Minuten auf physischen Geräten. AWS Device Farm hat kein Pauschalabonnement — die Bezahlung erfolgt pro Minute, was für unregelmäßige Arbeitslasten praktisch, aber bei intensiver Nutzung teurer ist.

Versteckte Kosten

Bei der Budgetplanung berücksichtigen Sie: Speicher von Testartefakten (Videos, Screenshots, Logs) — AWS Device Farm speichert Ergebnisse bis zu 90 Tage ohne Aufpreis, BrowserStack bis zu 30 Tage; Netzwerkverkehr beim Hochladen großer APK-/IPA-Dateien; Anzahl der parallelen Sitzungen — eine Erhöhung der Parallelität kann einen teureren Tarif erforderlich machen.