Firebase Test Lab — τι είναι, τύποι δοκιμών σε συσκευές και αυτοματοποίηση

Τι είναι το Firebase Test Lab

Firebase Test Lab είναι η υποδομή cloud της Google για αυτοματοποιημένο έλεγχο εφαρμογών για κινητά σε φυσικές συσκευές που βρίσκονται στα παγκόσμια κέντρα δεδομένων της Google. Σε αντίθεση με τους εξομοιωτές σε τοπικό μηχάνημα, το Test Lab εκτελεί δοκιμές σε πραγματικές συσκευές Android και iOS με διαφορετικές εκδόσεις λειτουργικών συστημάτων, αναλύσεις οθόνης, ποσότητες RAM και επίπεδα API. Η υπηρεσία επεξεργάζεται αυτόματα τα αποτελέσματα των δοκιμών, παρέχοντας βίντεο εκτέλεσης, στιγμιότυπα οθόνης βημάτων και λεπτομερή αρχεία καταγραφής.

Πλεονεκτήματα δοκιμών cloud

Η κατοχή δικής σας φάρμας συσκευών απαιτεί σημαντικές κεφαλαιουχικές δαπάνες για την αγορά και συντήρηση φυσικών συσκευών. Firebase Test Lab παρέχει πρόσβαση σε χιλιάδες συσκευές με χρέωση ανά χρήση (pay-per-use) με δωρεάν όριο στο πρόγραμμα Spark. Το Test Lab ενημερώνει αυτόματα το απόθεμα συσκευών στα πιο πρόσφατα μοντέλα, συμπεριλαμβανομένων των πιο πρόσφατων ναυαρχίδων Google Pixel, Samsung Galaxy, Xiaomi και iPhone. Οι δοκιμές εκτελούνται παράλληλα σε πολλές συσκευές, μειώνοντας τον συνολικό χρόνο επαλήθευσης της εφαρμογής.

Υποστηριζόμενες πλατφόρμες

Για Android, το Test Lab υποστηρίζει δοκιμές σε συσκευές με επίπεδο API από 21 έως την πιο πρόσφατη σταθερή έκδοση Android. Υποστήριξη για iOS περιλαμβάνει πραγματικές συσκευές iPhone και iPad με εκδόσεις iOS από 15 έως την πιο πρόσφατη σταθερή. Για iOS είναι διαθέσιμες δοκιμές ρομπότ και XCTest. Κάθε δοκιμή μπορεί να εκτελεστεί σε φυσικές συσκευές ή εξομοιωτές — για μέγιστα ακριβή αποτελέσματα, η Google συνιστά τη χρήση φυσικών συσκευών, καθώς αποκαλύπτουν προβλήματα με αισθητήρες, κάμερα και διεπαφές δικτύου.

Τύποι δοκιμών στο Firebase Test Lab

Firebase Test Lab υποστηρίζει διάφορους τύπους δοκιμών, καθένας από τους οποίους λύνει το δικό του έργο στον κύκλο ανάπτυξης: δοκιμές ρομπότ για γρήγορο έλεγχο σταθερότητας, δοκιμές οργάνων για λειτουργική επαλήθευση και δοκιμές στιγμιότυπων οθόνης για ανίχνευση οπτικών παλινδρομήσεων. Η επιλογή του τύπου δοκιμής εξαρτάται από το στάδιο ανάπτυξης και τους στόχους της συγκεκριμένης εκτέλεσης.

Δοκιμές ρομπότ (Robo tests)

Οι δοκιμές ρομπότ είναι μια μοναδική δυνατότητα του Firebase Test Lab που δεν απαιτεί τη σύνταξη κώδικα δοκιμής. Firebase Crawler εξερευνά αυτόματα την εφαρμογή: βρίσκει όλα τα διαδραστικά στοιχεία UI, κάνει κλικ σε αυτά, συμπληρώνει φόρμες με δεδομένα δοκιμής, πλοηγείται μεταξύ οθονών και καταγράφει τυχόν αποτυχίες (crash, ANR, εξαιρέσεις). Οι δοκιμές ρομπότ ανιχνεύουν έως και το 80% των κρίσιμων σφαλμάτων χωρίς ούτε μία γραμμή κώδικα δοκιμής, καθιστώντας τις ιδανικό εργαλείο για την αξιολόγηση της βασικής σταθερότητας της εφαρμογής στα πρώτα στάδια ανάπτυξης.

Δοκιμές οργάνων (Instrumentation tests)

Οι δοκιμές οργάνων είναι δοκιμές γραμμένες από τον προγραμματιστή χρησιμοποιώντας τα πλαίσια Espresso (Android) ή XCTest (iOS). Το Test Lab εκτελεί το APK με δοκιμές στη συσκευή-στόχο και συλλέγει τα αποτελέσματα εκτέλεσης. Οι δοκιμές μπορεί να είναι απλές (έλεγχος εμφάνισης στοιχείων) ή σύνθετες (σενάρια end-to-end: εξουσιοδότηση, προσθήκη στο καλάθι, ολοκλήρωση παραγγελίας). Το Firebase Test Lab υποστηρίζει το Android Test Orchestrator για την απομόνωση των δοκιμών μεταξύ τους, αποτρέποντας την επίδραση μιας αποτυχημένης δοκιμής στις υπόλοιπες.

Δοκιμές στιγμιότυπων οθόνης (Game loop και στιγμιότυπα)

Οι δοκιμές στιγμιότυπων οθόνης χρησιμοποιούνται για την ανίχνευση οπτικών παλινδρομήσεων στην εφαρμογή. Game loop είναι ένας ειδικός τύπος δοκιμής που στέλνει στην εφαρμογή μια λίστα σεναρίων μέσω intent, και η εφαρμογή πρέπει να εκτελέσει αυτά τα σενάρια και να τραβήξει στιγμιότυπα βασικών οθονών. Το Test Lab συλλέγει στιγμιότυπα από όλες τις συσκευές της μήτρας και επιτρέπει τη σύγκρισή τους με στιγμιότυπα αναφοράς για την ανίχνευση διαφορών. Αυτός ο τύπος δοκιμής είναι ιδιαίτερα δημοφιλής σε εφαρμογές παιχνιδιών για τον έλεγχο απόδοσης σε διαφορετικές GPU.

Μήτρα συσκευών και διαμορφώσεις

Μήτρα δοκιμών στο Firebase Test Lab είναι ένα σύνολο διαμορφώσεων συσκευών στις οποίες εκτελείται η επιλεγμένη δοκιμή. Κάθε διαμόρφωση περιλαμβάνει το μοντέλο συσκευής, την έκδοση OS, τον προσανατολισμό οθόνης (κατακόρυφο/οριζόντιο) και τις περιφερειακές ρυθμίσεις (τοπικές ρυθμίσεις, γλώσσα). Η δοκιμή εκτελείται παράλληλα σε όλες τις επιλεγμένες διαμορφώσεις, μειώνοντας σημαντικά τον συνολικό χρόνο εκτέλεσης σε σύγκριση με τη σειριακή εκτέλεση σε κάθε συσκευή.

Επιλογή συσκευών για τη μήτρα

Η Google συνιστά να συμπεριλάβετε στη μήτρα συσκευές με διαφορετικά χαρακτηριστικά: ένα κορυφαίο μοντέλο (Google Pixel, Samsung Galaxy S), μια οικονομική συσκευή (Moto G, Xiaomi Redmi), μια συσκευή με την ελάχιστη έκδοση API που υποστηρίζεται από την εφαρμογή. Βέλτιστη μήτρα περιλαμβάνει 5–10 διαμορφώσεις που καλύπτουν όλες τις εκδόσεις OS που υποστηρίζει η εφαρμογή. Για iOS επιλέγονται iPhone και iPad διαφορετικών γενεών (π.χ. iPhone SE, iPhone 14, iPad Air) με διαφορετικές εκδόσεις iOS.

Ομαδοποίηση δοκιμών και παραλληλισμός

Το Test Lab κατανέμει αυτόματα τις δοκιμές στις επιλεγμένες συσκευές, εκτελώντας κάθε δοκιμή σε κάθε διαμόρφωση. Ο χρόνος εκτέλεσης ολόκληρης της μήτρας ισούται με τον χρόνο εκτέλεσης της πιο αργής δοκιμής στην πιο αργή συσκευή — όλες οι άλλες εκτελούνται παράλληλα. Εάν μια δοκιμή αποτύχει σε όλες τις συσκευές, το Test Lab σταματά την εκτέλεσή της στις υπόλοιπες διαμορφώσεις για εξοικονόμηση πόρων. Τα αποτελέσματα ομαδοποιούνται ανά δοκιμή και ανά συσκευή, επιτρέποντας τον γρήγορο προσδιορισμό του εάν το σφάλμα είναι συγκεκριμένο για μια συγκεκριμένη διαμόρφωση.

Δοκιμή ρομπότ: αυτόματη εξερεύνηση

Δοκιμή ρομπότ είναι μια κορυφαία δυνατότητα του Firebase Test Lab που επιτρέπει την αυτόματη εξερεύνηση της εφαρμογής χωρίς να γράψετε ούτε μία δοκιμή. Το Firebase Crawler (ρομπότ) αναλύει την ιεραρχία UI της εφαρμογής, βρίσκει όλα τα διαδραστικά στοιχεία (κουμπιά, πεδία κειμένου, λίστες, μενού) και αλληλεπιδρά με αυτά, προσομοιώνοντας τη συμπεριφορά ενός πραγματικού χρήστη. Η δοκιμή ρομπότ είναι ιδιαίτερα αποτελεσματική στα πρώτα στάδια ανάπτυξης, όταν οι δοκιμές δεν έχουν ακόμα γραφτεί, ή για τον έλεγχο παλαιού κώδικα.

Ρύθμιση δοκιμής ρομπότ

Για να εκτελέσετε μια δοκιμή ρομπότ, αρκεί να ανεβάσετε APK ή IPA στο Firebase Console και να επιλέξετε την επιλογή Robo test. Το ρομπότ μπορεί να συνδεθεί αυτόματα στην εφαρμογή μέσω προκαθορισμένων διαπιστευτηρίων (όνομα χρήστη/κωδικός) για πρόσβαση σε οθόνες που βρίσκονται πίσω από εξουσιοδότηση. Μπορείτε επίσης να ορίσετε το βάθος εξερεύνησης (max depth) για να περιορίσετε τον αριθμό βημάτων του ρομπότ ή να καθορίσετε συγκεκριμένα στοιχεία που πρέπει να κάνει κλικ το ρομπότ κατά προτεραιότητα.

<!-- res/xml/robo_directives.xml -->
<!-- Το ρομπότ θα συμπληρώσει τα πεδία σύνδεσης και κωδικού -->
<?xml version="1.0" encoding="utf-8"?>
<robo-directives
    xmlns:android="http://schemas.android.com/apk/res/android">
    <directive
        android:resourceName="@id/et_email"
        android:inputValue="test@example.com" />
    <directive
        android:resourceName="@id/et_password"
        android:inputValue="password123" />
    <directive
        android:resourceName="@id/btn_login"
        android:clickAction="CLICK" />
</robo-directives>

Περιορισμοί δοκιμών ρομπότ

Οι δοκιμές ρομπότ δεν αντικαθιστούν τον χειροκίνητο έλεγχο και τις γραπτές δοκιμές οργάνων για σύνθετα σενάρια. Το ρομπότ δεν μπορεί να ελέγξει την επιχειρηματική λογική: κάνει κλικ σε όλα τα στοιχεία στη σειρά, αλλά δεν γνωρίζει εάν το αποτέλεσμα είναι σωστό. Επίσης, το ρομπότ δεν μπορεί να αλληλεπιδράσει με προσαρμοσμένες προβολές που δεν κληρονομούν από την τυπική ViewGroup και δεν επεξεργάζεται το WebView. Για αυτές τις περιπτώσεις πρέπει να χρησιμοποιούνται δοκιμές οργάνων ή Game loop.

Ενσωμάτωση με CI/CD και Gradle

Η ενσωμάτωση του Firebase Test Lab με συστήματα CI/CD επιτρέπει την αυτόματη εκτέλεση δοκιμών σε κάθε push στο αποθετήριο. Το Test Lab υποστηρίζει εργασίες Gradle για Android και Fastlane και για τις δύο πλατφόρμες. Η ρύθμιση του αγωγού CI/CD περιλαμβάνει τη δημιουργία της εφαρμογής, τη μεταφόρτωση APK/IPA στο Google Cloud Storage, την εκτέλεση δοκιμών μέσω Firebase CLI και τη λήψη αναφορών πίσω στο σύστημα CI για εμφάνιση της κατάστασης κατασκευής.

Ρύθμιση μέσω Gradle (Android)

Η Google παρέχει το πρόσθετο gcloud-test-lab για το Gradle, το οποίο αυτοματοποιεί τη μεταφόρτωση και εκτέλεση δοκιμών. Η εργασία assembleAndroidTest δημιουργεί το APK με δοκιμές, και οι εργασίες gcloud το μεταφορτώνουν στο Test Lab και εκτελούν τη μήτρα. Τα αποτελέσματα των δοκιμών επιστρέφονται στο Gradle ως pass/fail, επιτρέποντας την ενσωμάτωση του Test Lab σε οποιονδήποτε αγωγό CI που υποστηρίζει Gradle. Για εξουσιοδότηση χρησιμοποιείται ένας λογαριασμός υπηρεσίας Firebase με δικαιώματα στο Test Lab.

// build.gradle (module: app)
task runTestLab() {
    exec {
        commandLine "gcloud", "firebase", "test", "android", "run",
            "--type", "robo",
            "--app", "build/outputs/apk/debug/app-debug.apk",
            "--device", "model=Pixel7,version=33",
            "--device", "model=GalaxyS23,version=34",
            "--device", "model=RedmiNote12,version=31",
            "--timeout", "15m",
            "--results-dir", "firebase/test-lab/robo"
    }
}

Ρύθμιση μέσω Fastlane

Το Fastlane παρέχει το πρόσθετο firebase_test_lab για ενσωμάτωση με δοκιμές iOS και Android. Fastlane lane εκτελεί την κατασκευή, ξεκινά τις δοκιμές και επεξεργάζεται τα αποτελέσματα. Για iOS XCTest, το Test Lab απαιτεί αρχείο xctestrun, το οποίο δημιουργείται αυτόματα κατά την κατασκευή του στόχου δοκιμής. Το Fastlane μπορεί επίσης να ανεβάσει τα αποτελέσματα δοκιμών στο Slack ή άλλες εφαρμογές ανταλλαγής μηνυμάτων για ειδοποίηση της ομάδας σχετικά με την κατάσταση δοκιμής μετά από κάθε εκτέλεση.

Ανάλυση αποτελεσμάτων δοκιμών

Μετά την ολοκλήρωση των δοκιμών το Firebase Test Lab παρέχει μια ολοκληρωμένη αναφορά, διαθέσιμη στο Firebase Console και μέσω gcloud CLI. Η αναφορά περιλαμβάνει μια γρήγορη σύνοψη (αριθμός επιτυχών, αποτυχημένων και παραλειπόμενων δοκιμών), λεπτομερείς πληροφορίες για κάθε δοκιμή σε κάθε συσκευή, βίντεο εκτέλεσης, στιγμιότυπα βασικών βημάτων και αρχεία καταγραφής συσκευής (logcat για Android, system log για iOS). Για αποτυχημένες δοκιμές διατίθεται stack trace με ένδειξη της ακριβούς τοποθεσίας του σφάλματος.

Ερμηνεία αποτελεσμάτων δοκιμής ρομπότ

Για τη δοκιμή ρομπότ, η αναφορά διαφέρει από την οργάνων: αντί για pass/fail ανά περίπτωση δοκιμής, η αναφορά δείχνει στατιστικά εξερεύνησης. Βασικές μετρήσεις — αριθμός οθονών που βρέθηκαν και επισκέφθηκαν, αριθμός αλληλεπιδράσεων ρομπότ (κλικ, σύρσιμο, εισαγωγή κειμένου), εντοπισμένα crashes και ANR, και η διαδρομή που διανύθηκε στην εφαρμογή. Το βίντεο εκτέλεσης του ρομπότ επιτρέπει την οπτική αξιολόγηση του ποιες οθόνες δοκιμάστηκαν και ποιες παρέμειναν ακάλυπτες.

Εξαγωγή αποτελεσμάτων

Τα αποτελέσματα δοκιμών αποθηκεύονται στο Google Cloud Storage στο bucket που είναι συνδεδεμένο με το έργο. Τα δεδομένα είναι διαθέσιμα για εξαγωγή και ενσωμάτωση με εξωτερικά συστήματα ανάλυσης. Για μακροπρόθεσμη αποθήκευση και σύγκριση αποτελεσμάτων μεταξύ εκτελέσεων, συνιστάται η ρύθμιση εξαγωγής BigQuery ή η χρήση του Firebase Test Lab API για προγραμματική λήψη αποτελεσμάτων. Η Google παρέχει τη δυνατότητα λήψης αρχείου ZIP με το πλήρες σύνολο αποτελεσμάτων για κάθε εκτέλεση δοκιμών.