Device Farm: wat is het, cloudservices en echte apparaten

Wat is Device Farm

Device Farm — is een infrastructuuroplossing voor het testen van mobiele applicaties die via internet externe toegang biedt tot fysieke en virtuele apparaten. In tegenstelling tot het kopen en onderhouden van een eigen apparaatlaboratorium, huren ontwikkelaars tijd op andermans apparaten en betalen alleen voor daadwerkelijk gebruik.

Waarom is Device Farm nodig

De mobiele apparaatmarkt omvat meer dan 24 000 unieke Android-smartphonemodellen volgens OpenSignal, 2025. Het fysiek aanschaffen van alle populaire modellen voor testen is onmogelijk — dit zou miljoenen dollars aan investeringen en constante vernieuwing van het wagenpark vergen. Device Farm lost dit probleem op door toegang te bieden tot actuele apparaten via een abonnement.

Fysieke apparaten versus emulators

Emulators en simulators dekken slechts 60–70% van de testscenario’s. Echte apparaten zijn nodig voor het controleren van sensoren, camera, GPS, batterijniveau, prestaties op zwakke hardware en gedrag bij inkomende oproepen. Device Farm combineert beide benaderingen: emulators voor snelle smoke-tests en fysieke apparaten voor volledige verificatie.

Voor wie is Device Farm geschikt

Device Farm is geschikt voor startups die hun eerste app lanceren, volwassen productteams met regelmatige releases en enterprise-projecten met tientallen applicaties. De doelmatigheid van gebruik neemt toe met het aantal doelapparaten en de releasefrequentie — hoe meer configuraties moeten worden gecontroleerd, hoe voordeliger het cloudmodel is.

Hoe werkt Device Farm

Het typische werkscenario met Device Farm omvat vijf fasen: uploaden van de build, selecteren van apparaten, configureren van tests, uitvoeren, analyseren van resultaten. Elke fase wordt geautomatiseerd via API, waardoor Device Farm in de CI/CD-pijplijn kan worden ingebouwd zonder handmatige tussenkomst.

Applicatie uploaden

De ontwikkelaar uploadt het gebouwde APK- (Android), AAB- of IPA-bestand (iOS) naar de cloudopslag van de aanbieder. Sommige services, zoals Firebase Test Lab, accepteren ook direct een Xcode- of Android Studio-project. De bestandsgrootte is beperkt: AWS Device Farm ondersteunt tot 200 MB, BrowserStack — tot 500 MB.

Configuraties selecteren

Uit de apparaatcatalogus worden doelmodellen en OS-versies geselecteerd. Moderne Device Farm ondersteunen groepering: „alle vlaggenschepen 2024–2025” of „budget Android-toestellen met Android 13–14”. Parallelle uitvoering maakt het mogelijk om één test tegelijkertijd op 10–50 apparaten uit te voeren, waardoor de totale tijd wordt teruggebracht tot minuten.

Uitvoeren en monitoren

Tests worden uitgevoerd op echte apparaten in de datacenters van de aanbieder. De ontwikkelaar volgt de voortgang via de webconsole in realtime: logs, screenshots, video-opname van de test. Bij een testfout maakt Device Farm een screenshot en verzamelt het crashlog voor diagnose.

// Voorbeeld van een Device Farm-configuratie in Jenkinsfile
pipeline {
    agent any
    stages {
        stage('Build') {
            steps {
                sh './gradlew assembleDebug'
            }
        }
        stage('Device Farm Tests') {
            steps {
                sh '''aws device-farm schedule-run
                    --project-arn arn:aws:devicefarm:us-west-2:123:project:1
                    --app-arn arn:aws:devicefarm:us-west-2:123:app:1
                    --device-pool-arn arn:aws:devicefarm:us-west-2:123:pool:1
                    --test-arn arn:aws:devicefarm:us-west-2:123:test:1'''
            }
        }
    }
}

Belangrijkste functies van Device Farm

Moderne Device Farm bieden niet alleen het uitvoeren van tests, maar ook hulpgereedschappen voor diagnose, prestatiemonitoring en integratie met andere ontwikkeldiensten. De functieset varieert per aanbieder, maar de kern blijft hetzelfde.

Automatisch testen

Alle belangrijke frameworks worden ondersteund: Espresso en UI Automator voor Android, XCTest en XCUITest voor iOS, Appium en Calabash voor cross-platform projecten. Device Farm voert tests uit zonder codewijzigingen — het is voldoende om het testframework aan te geven bij de configuratie.

Handmatig interactief testen

De ontwikkelaar krijgt via de browser externe toegang tot een echt apparaat: aanrakingen, vegen, schermrotatie, knopdrukken — alle acties worden in realtime verzonden. Interactieve modus is onmisbaar voor het reproduceren van zeldzame bugs die niet door geautomatiseerde tests worden gedekt. AWS Device Farm biedt tot 60 minuten handmatige sessie zonder extra kosten.

Verzamelen van diagnosegegevens

Na elke uitvoering genereert Device Farm een rapport: video-opname van de test, stapsgewijze screenshots, apparaatlogs (logcat voor Android, syslog voor iOS), prestatiegegevens (CPU, geheugen, netwerk) en de crash-stack. Deze gegevens helpen bij het lokaliseren van het probleem zonder het op een lokaal apparaat te reproduceren.

CI/CD-integratie

Alle grote Device Farm aanbieders bieden plug-ins voor Jenkins, GitLab CI, GitHub Actions en CircleCI. Webhook-meldingen informeren het team over testresultaten in Slack, Telegram of e-mail. Het configureren van CI/CD-integratie is een standaardpraktijk voor teams die continue levering toepassen.

Populaire Device Farm aanbieders

De Device Farm-markt wordt vertegenwoordigd door drie hoofdcategorieën: algemene cloudaanbieders (AWS), gespecialiseerde testservices (BrowserStack) en tools binnen het platformecosysteem (Firebase). De keuze hangt af van de technologiestack en het budget van het team.

AWS Device Farm

Geïntegreerd met het Amazon Web Services-ecosysteem. Ontwikkelaars die al AWS gebruiken voor hosting en CI/CD krijgen één contract en naadloze integratie met CodePipeline en CodeBuild. AWS Device Farm ondersteunt het testen van Android-, iOS- en webapplicaties op fysieke apparaten en emulators.

BrowserStack App Automate

Grootste onafhankelijke aanbieder met een wagenpark van meer dan 3 000 echte apparaten. BrowserStack staat bekend om zijn gebruiksvriendelijke webinterface, snelle apparaatlevering (10–15 seconden) en ondersteuning voor Appium zonder complexe configuratie. De service werkt het apparaatpark automatisch bij binnen een week na de lancering van een nieuw model.

Firebase Test Lab

Gratis service van Google voor Android-applicaties met de mogelijkheid om iOS te testen (beperkt). Firebase Test Lab is vooral aantrekkelijk voor startups: basistestscenario’s zijn beschikbaar zonder abonnement. Integratie met Firebase Console en Crashlytics maakt het mogelijk om testfouten te koppelen aan echte crashes in productie.

Andere aanbieders

Op de markt zijn Samsung Remote Test Lab (gratis toegang tot Samsung-apparaten), Kobiton (enterprise-georiënteerd met on-premise implementatie), Perfecto (overgenomen door Perforce, focus op financiële sector) en Sauce Labs (een van de oudste services, nu onderdeel van Tricentis) aanwezig.

Voorbeeld van testuitvoering op Device Farm

Laten we de integratie van Firebase Test Lab met de commandoregel voor een Android-applicatie bekijken. Firebase Test Lab voert tests uit via gcloud CLI, waardoor uitvoering in elke CI-pijplijn kan worden ingebouwd zonder extra plug-ins. Het voorbeeld toont een minimale smoke-testconfiguratie op drie apparaten.

# gcloud CLI installeren en autoriseren
gcloud auth login
gcloud config set project my-android-app

# APK uploaden naar Firebase Test Lab
gcloud firebase test android run \
    --app app-debug.apk \
    --test app-debug-test.apk \
    --type instrumentation \
    --device model=Pixel7,version=34 \
    --device model=SamsungS23,version=33 \
    --device model=OnePlus12,version=34 \
    --timeout 30m \
    --results-bucket gs://my-app-test-results

De opdracht uploadt twee bestanden: de build zelf en de test-APK met instrumentatietests van Espresso. Firebase Test Lab selecteert automatisch de nieuwste beschikbare OS-versie voor elk model, tenzij version expliciet is opgegeven. Resultaten worden opgeslagen in Google Cloud Storage in XML- en HTML-formaat voor weergave in de browser.

Integratie met GitHub Actions

Voor automatische uitvoering bij elke push wordt GitHub Actions gebruikt. De workflow bouwt de applicatie, voert Firebase Test Lab uit en retourneert de verificatiestatus.

name: Android CI with Device Farm
on: [push]
jobs:
  test-on-devices:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-java@v4
        with:
          distribution: temurin
          java-version: 17
      - run: ./gradlew assembleDebug assembleDebugAndroidTest
      - uses: google-github-actions/auth@v2
        with:
          credentials_json: ${{ secrets.GCP_SA_KEY }}
      - run: gcloud firebase test android run
          --app app/build/outputs/apk/debug/app-debug.apk
          --test app/build/outputs/apk/androidTest/debug/app-debug-test.apk
          --device model=Pixel8,version=35

Prijsmodellen van Device Farm

De kosten van Device Farm bestaan uit verschillende parameters: aantal parallelle sessies, type apparaat (fysiek of emulator), testduur en extra functies. Het is belangrijk om de kostenstructuur te begrijpen voordat u een aanbieder kiest om onverwachte uitgaven bij schaling te voorkomen.

Testminuten

De meeste aanbieders factureren op basis van de werkelijke gebruiksduur van het apparaat. Fysieke apparaten zijn 2–5 keer duurder dan emulators. AWS Device Farm biedt 1000 gratis minuten per maand voor nieuwe accounts, BrowserStack — 60 minuten proefperiode. De gemiddelde kosten per minuut op een fysiek Android-apparaat bedragen $0.05–0.17.

Teamabonnement

Voor regelmatig testen is een vast abonnement voordeliger. BrowserStack biedt het Team-plan voor $299/maand voor 3 gebruikers met onbeperkte minuten op fysieke apparaten. AWS Device Farm heeft geen vast abonnement — betaling geschiedt per minuut, wat handig is bij onregelmatige belasting, maar duurder bij intensief gebruik.

Verborgen kosten

Houd bij het berekenen van het budget rekening met: opslag van testartefacten (video, screenshots, logs) — AWS Device Farm bewaart resultaten tot 90 dagen zonder extra kosten, BrowserStack — tot 30 dagen; netwerkverkeer bij het uploaden van grote APK/IPA-bestanden; aantal parallelle sessies — verhoging van paralleliteit kan een duurder plan vereisen.