Firebase Test Lab — o que é, tipos de teste em dispositivos e automação

O que é Firebase Test Lab

Firebase Test Lab é a infraestrutura em nuvem do Google para testes automatizados de aplicativos móveis em dispositivos físicos localizados nos data centers globais do Google. Ao contrário dos emuladores em uma máquina local, o Test Lab executa testes em dispositivos Android reais e dispositivos iOS com várias versões de sistemas operacionais, resoluções de tela, tamanhos de RAM e níveis de API. O serviço processa automaticamente os resultados dos testes, fornecendo vídeos de execução, capturas de tela das etapas e logs detalhados.

Benefícios dos Testes em Nuvem

Manter sua própria fazenda de dispositivos requer um investimento de capital significativo na compra e manutenção de dispositivos físicos. Firebase Test Lab fornece acesso a milhares de dispositivos em regime de pagamento por uso com um limite gratuito no plano Spark. O Test Lab atualiza automaticamente o parque de dispositivos para os modelos atuais, incluindo os mais recentes Google Pixel, Samsung Galaxy, Xiaomi e iPhone topo de linha. Os testes são executados em paralelo em vários dispositivos, reduzindo o tempo total de verificação do aplicativo.

Plataformas Suportadas

Para Android, o Test Lab suporta testes em dispositivos com níveis de API de 21 até a versão estável mais recente do Android. O suporte para iOS inclui dispositivos iPhone e iPad reais com versões do iOS de 15 até a versão estável mais recente. Testes robô e XCTest estão disponíveis para iOS. Cada teste pode ser executado em dispositivos físicos ou emuladores — para obter os resultados mais precisos, o Google recomenda o uso de dispositivos físicos, pois eles revelam problemas com sensores, câmera e interfaces de rede.

Tipos de Teste no Firebase Test Lab

Firebase Test Lab suporta vários tipos de teste, cada um resolvendo sua própria tarefa no ciclo de desenvolvimento: testes robô para verificação rápida de estabilidade, testes de instrumentação para verificação funcional e testes de captura de tela para detectar regressões visuais. A escolha do tipo de teste depende do estágio de desenvolvimento e dos objetivos de uma execução específica.

Testes Robô (Robo tests)

Os testes robô são uma característica única do Firebase Test Lab que não requer a escrita de código de teste. Firebase Crawler explora automaticamente o aplicativo: encontra todos os elementos interativos da UI, clica neles, preenche formulários com dados de teste, navega entre telas e registra quaisquer falhas (crash, ANR, exceções). Os testes robô detectam até 80% dos bugs críticos sem uma única linha de código de teste, tornando-os uma ferramenta ideal para avaliar a estabilidade básica de um aplicativo nos estágios iniciais de desenvolvimento.

Testes de Instrumentação

Testes de instrumentação são testes escritos pelo desenvolvedor usando os frameworks Espresso (Android) ou XCTest (iOS). O Test Lab executa o APK com testes no dispositivo alvo e coleta os resultados da execução. Os testes podem ser simples (verificar a exibição de elementos) ou complexos (cenários de ponta a ponta: login, adicionar ao carrinho, finalizar compra). O Firebase Test Lab suporta o Android Test Orchestrator para isolar os testes uns dos outros, evitando que um teste com falha afete os demais.

Testes de Captura de Tela (Game loop e capturas)

Os testes de captura de tela são usados para detectar regressões visuais no aplicativo. Game loop é um tipo especial de teste que passa uma lista de cenários para o aplicativo via intent, e o aplicativo deve executar esses cenários e tirar capturas de tela das telas principais. O Test Lab coleta capturas de tela de todos os dispositivos na matriz e permite compará-las com imagens de referência para detectar diferenças. Este tipo de teste é especialmente popular em aplicativos de jogos para verificar a renderização em diferentes GPUs.

Matriz de Dispositivos e Configurações

A matriz de teste no Firebase Test Lab é um conjunto de configurações de dispositivos nas quais o teste selecionado é executado. Cada configuração inclui o modelo do dispositivo, a versão do SO, a orientação da tela (retrato/paisagem) e as configurações regionais (localidade, idioma). O teste é executado em paralelo em todas as configurações selecionadas, reduzindo significativamente o tempo total de execução em comparação com a execução sequencial em cada dispositivo.

Seleção de Dispositivos para a Matriz

O Google recomenda incluir na matriz dispositivos com diferentes características: um modelo emblemático (Google Pixel, Samsung Galaxy S), um dispositivo econômico (Moto G, Xiaomi Redmi), um dispositivo com a versão mínima de API suportada pelo aplicativo. Uma matriz ideal inclui de 5 a 10 configurações que cobrem todas as versões de SO que o aplicativo suporta. Para iOS, são selecionados modelos de iPhone e iPad de diferentes gerações (por exemplo, iPhone SE, iPhone 14, iPad Air) com diferentes versões do iOS.

Agrupamento de Testes e Paralelismo

O Test Lab distribui automaticamente os testes pelos dispositivos selecionados, executando cada teste em cada configuração. O tempo de execução de toda a matriz é igual ao tempo de execução do teste mais lento no dispositivo mais lento — todos os outros são executados em paralelo. Se um teste falha em todos os dispositivos, o Test Lab interrompe sua execução nas configurações restantes para economizar recursos. Os resultados são agrupados por teste e por dispositivo, permitindo identificar rapidamente se um erro é específico de uma configuração particular.

Teste Robô: Exploração Automática

O teste robô é uma característica emblemática do Firebase Test Lab que permite explorar automaticamente um aplicativo sem escrever um único teste. O Firebase Crawler (robô) analisa a hierarquia da UI do aplicativo, encontra todos os elementos interativos (botões, campos de texto, listas, menus) e interage com eles, simulando o comportamento de um usuário real. O teste robô é especialmente eficaz nos estágios iniciais de desenvolvimento, quando os testes ainda não foram escritos, ou para verificar código legado.

Configuração de um Teste Robô

Para executar um teste robô, basta carregar um APK ou IPA no Firebase Console e selecionar a opção Robo test. O robô pode fazer login automaticamente no aplicativo através de credenciais pré-configuradas (login/senha) para acessar telas ocultas atrás da autenticação. Você também pode definir a profundidade de exploração (max depth) para limitar o número de passos do robô, ou especificar elementos específicos nos quais o robô deve clicar prioritariamente.

<!-- res/xml/robo_directives.xml -->
<!-- O robô preencherá os campos de login e senha -->
<?xml version="1.0" encoding="utf-8"?>
<robo-directives
    xmlns:android="http://schemas.android.com/apk/res/android">
    <directive
        android:resourceName="@id/et_email"
        android:inputValue="test@example.com" />
    <directive
        android:resourceName="@id/et_password"
        android:inputValue="password123" />
    <directive
        android:resourceName="@id/btn_login"
        android:clickAction="CLICK" />
</robo-directives>

Limitações dos Testes Robô

Os testes robô não substituem os testes manuais e os testes de instrumentação escritos para cenários complexos. O robô não pode verificar a lógica de negócio: ele clica em todos os elementos em sequência, mas não sabe se o resultado está correto. Além disso, o robô não pode interagir com visualizações personalizadas que não herdam de ViewGroup padrão e não lida com WebView. Para esses casos, devem ser usados testes de instrumentação ou Game loop.

Integração com CI/CD e Gradle

A integração do Firebase Test Lab com sistemas CI/CD permite executar testes automaticamente a cada push no repositório. O Test Lab suporta tarefas Gradle para Android e Fastlane para ambas as plataformas. A configuração de um pipeline CI/CD inclui a compilação do aplicativo, o upload do APK/IPA para o Google Cloud Storage, a execução de testes através do Firebase CLI e a obtenção de relatórios de volta para o sistema CI para exibir o status da compilação.

Configuração via Gradle (Android)

O Google fornece o plugin gcloud-test-lab para Gradle, que automatiza o upload e a execução de testes. A tarefa assembleAndroidTest compila o APK com testes, e as tarefas gcloud o carregam no Test Lab e executam a matriz. Os resultados dos testes são retornados ao Gradle como pass/fail, permitindo a integração do Test Lab em qualquer pipeline CI que suporte Gradle. Uma conta de serviço do Firebase com permissões do Test Lab é usada para autorização.

// build.gradle (module: app)
task runTestLab() {
    exec {
        commandLine "gcloud", "firebase", "test", "android", "run",
            "--type", "robo",
            "--app", "build/outputs/apk/debug/app-debug.apk",
            "--device", "model=Pixel7,version=33",
            "--device", "model=GalaxyS23,version=34",
            "--device", "model=RedmiNote12,version=31",
            "--timeout", "15m",
            "--results-dir", "firebase/test-lab/robo"
    }
}

Configuração via Fastlane

Fastlane fornece o plugin firebase_test_lab para integração com testes iOS e Android. Uma lane do Fastlane realiza a compilação, executa os testes e processa os resultados. Para XCTest no iOS, o Test Lab requer um arquivo xctestrun, que é criado automaticamente ao compilar o alvo de teste. O Fastlane também pode carregar os resultados dos testes no Slack ou outros mensageiros para notificar a equipe sobre o status dos testes após cada execução.

Análise de Resultados de Teste

Após a conclusão dos testes, o Firebase Test Lab fornece um relatório abrangente disponível no Firebase Console e através do gcloud CLI. O relatório inclui um breve resumo (número de testes aprovados, falhos e pulados), informações detalhadas para cada teste em cada dispositivo, vídeos de execução, capturas de tela das etapas principais e logs do dispositivo (logcat para Android, log do sistema para iOS). Para testes com falha, um stack trace com a localização exata do erro está disponível.

Interpretação de Resultados de Teste Robô

Para um teste robô, o relatório difere de um de instrumentação: em vez de pass/fail por caso de teste, o relatório mostra estatísticas de exploração. Métricas principais — o número de telas encontradas e visitadas, o número de interações do robô (cliques, deslizes, entrada de texto), crashes e ANRs detectados, e o caminho percorrido pelo aplicativo. O vídeo de execução do robô permite avaliar visualmente quais telas foram testadas e quais permaneceram sem cobertura.

Exportação de Resultados

Os resultados dos testes são armazenados no Google Cloud Storage no bucket associado ao projeto. Os dados estão disponíveis para exportação e integração com sistemas de análise externos. Para armazenamento de longo prazo e comparação de resultados entre execuções, recomenda-se configurar a exportação para BigQuery ou usar a API do Firebase Test Lab para obtenção programática de resultados. O Google fornece a capacidade de baixar um arquivo ZIP com o conjunto completo de resultados para cada execução de teste.