Uygulama Geliştirmede E2E Testi — nedir, senaryolar ve araçlar

E2E Testi Nedir?

E2E testi (End-to-End), testin sistemin tüm bileşenleri aracılığıyla kullanıcının tam yolunu çalıştırdığı bir yazılım doğrulama yöntemidir. Mobil uygulama için tipik bir E2E senaryosu şunları içerir: uygulamayı başlatma, yeni kullanıcı kaydı, e-posta onayı, hedef eylemi gerçekleştirme (sipariş verme, mesaj gönderme) ve arayüzde sonucu doğrulama. Her adım gerçek bileşenleri kullanır — stub veya mock olmadan.

E2E testlerinin temel avantajı, istemci, sunucu, veritabanı ve üçüncü taraf hizmetler arasındaki etkileşim dahil olmak üzere sistemi tek bir bütün olarak test etmeleridir. E2E testleri, test piramidinin alt seviyelerinde tespit edilemeyen sorunları bulur: istemci ve sunucu arasında veri formatı uyuşmazlığı, gerçek ortamda kimlik doğrulama hataları ve ödeme ağ geçitleriyle entegrasyon arızaları.

World Quality Report 2023 raporuna göre, E2E testlerini CI/CD pipeline'ına entegre eden ekipler, sürümdeki kritik hata sayısını %45 oranında azaltmıştır. Tam E2E setinin çalıştırma süresi, senaryo sayısına bağlı olarak 20 dakika ile 2 saat arasında değişir ve bu da iyi düşünülmüş bir paralel çalıştırma stratejisi gerektirir.

E2E Testinin Entegrasyon Testinden Farkı

Temel fark, doğrulama sınırlarındadır. Entegrasyon testleri, uygulama içindeki iki veya üç bileşen arasındaki etkileşimi doğrular: ağ katmanı ve depo, veritabanı ve ViewModel. E2E testleri tüm zinciri doğrular: UI'dan harici backend'e ve geriye. Entegrasyon testi bir API isteğinin doğru JSON döndürdüğünü doğrularken, E2E testi kullanıcının bu verileri tam yükleme döngüsünden sonra ekranda gördüğünü doğrular.

Bakım maliyeti de farklıdır. Entegrasyon testleri kontrollü ortamda — test stub'ları ve in-memory veritabanları ile — çalışır, bu da onları kararlı ve hızlı kılar. E2E testleri harici sistem durumuna, ağ kullanılabilirliğine ve backend sürümlerine bağlıdır, bu da yanlış pozitif (flakiness) olasılığını artırır. Google Testing Blog (2021)'e göre, E2E testleri entegrasyon testlerinden ortalama 3–5 kat daha kırılgandır ve yeniden deneme mekanizmaları ile kararlılık analizi gerektirir.

E2E ve entegrasyon testleri arasındaki seçim, senaryonun kritikliğine bağlıdır. Temel kullanıcı yolları — kayıt, ödeme, erişim kurtarma — E2E doğrulaması gerektirir. Yardımcı senaryolar — liste yükleme, profil güncelleme — ayrı ekran seviyesinde UI doğrulamaları ile entegrasyon testleriyle kapsanabilir.

E2E Testleriyle Hangi Senaryolar Kapsanmalı

Her kullanıcı senaryosu E2E testi gerektirmez. Seçim kriterleri üç faktörü içerir: yol kullanım sıklığı, canlıda hata maliyeti ve ilgili sistem sayısı. Her kullanıcının ilk çalıştırmada yaptığı senaryo (onboarding, kayıt) bariz bir adaydır. Kullanıcıların yalnızca %5'inin eriştiği yönetici paneli senaryosu entegrasyon testi için adaydır.

• Kayıt ve giriş — e-posta onayı ve oturum kurulumu dahil tam hesap oluşturma döngüsü. Hata tüm yeni kullanıcıları engeller.
• Sipariş verme ve ödeme — sepet doğrulama, teslimat yöntemi seçimi, üçüncü taraf ağ geçidi üzerinden ödeme işleme ve onay görüntüleme.
• Şifre kurtarma — sıfırlama talebi, e-posta alma, yeni şifre girme, yeni verilerle giriş yapma. Sunucu mantığı değiştiğinde sık sık bozulur.
• Veri senkronizasyonu — bir cihazda kayıt oluşturma, bulut üzerinden senkronizasyondan sonra başka bir cihazda görünmesini kontrol etme.
• Bildirimler — bildirim alma, bildirim aracılığıyla ilgili uygulama ekranına gitme, bildirim sonrası durum güncelleme.

Her senaryo için minimum E2E test seti belirlenir — bir happy path ve bir error path (örneğin, süresi dolmuş token veya kullanılamayan sunucu). Temel senaryoların ötesinde E2E kapsamını genişletmek ekonomik olarak gerekçelendirilmelidir: E2E testlerinin ROI'si 10–15 temel yolu kapsadıktan sonra azalır çünkü ek E2E testleri kalite güveninde orantılı bir artış sağlamaz.

E2E Test Araçları

Mobil E2E testi için üç ana araç kategorisi vardır: platforma özel framework'ler, platformlar arası çözümler ve yeni nesil araçlar. Araç seçimi teknoloji yığınına, ekip yetkinliğine ve istenen CI entegrasyon kurulum hızına bağlıdır.

Platforma özel framework'ler

XCUITest — Xcode'un bir parçası olan Apple'ın iOS için yerel aracı. iOS için en kararlı ve performanslı seçenek olup sistemin Accessibility katmanına doğrudan erişim sağlar. Espresso — AndroidX Test'in bir parçası olan Google'ın Android için yerel framework'ü. E2E senaryoları için Espresso, AndroidX Test Orchestrator ile birlikte kullanılarak testleri izole eder ve karşılıklı etkileşimi önler. Platforma özel framework'lerin dezavantajı, her platform için ayrı testler yazma gerekliliğidir.

Platformlar arası çözümler

Appium — WebDriver tabanlı araç olup Java, Python, JavaScript ve diğer dilleri destekler. Appium mimarisi, komutları platform API'lerine — Android için UIAutomator ve iOS için XCUITest — yönlendiren bir sunucu içerir. Her cihaz için Desired Capabilities yapılandırması gerektirir. Detox (Wix) — React Native için framework, JS iş parçacığı ile senkronize olur ve animasyonların ve ağ isteklerinin tamamlanmasını otomatik olarak bekler. Detox, Jest veya Mocha ile entegre olur ve sunucu kurulumu gerektirmez.

Yeni nesil araçlar

Maestro — senaryoları tanımlamak için YAML dosyaları kullanan modern bir framework. Maestro derleme gerektirmez, sıcak yeniden yüklemeyi destekler ve sonuç analizi için yerleşik Flow Report sağlar. Araç 10 dakikada CI'ya entegre olur ve uygulama durumuyla otomatik olarak senkronize olur, bu da Appium'a kıyasla testlerin flakiness'ini önemli ölçüde azaltır.

• Detox (Wix) — JS iş parçacığı ile senkronize olan React Native framework'ü. Android ve iOS'u destekler, animasyonların ve ağ isteklerinin tamamlanmasını otomatik olarak bekler.
• Appium — WebDriver tabanlı platformlar arası araç, tüm programlama dillerini destekler.
• Maestro — YAML senaryoları kullanan modern framework, derleme gerektirmez ve 10 dakikada CI'ya entegre olur.

E2E Test Kod Örnekleri

En hızlı büyüyen mobil test araçlarından biri olan Maestro'da giriş senaryosu için bir E2E testini inceleyelim. Maestro, programlama dili bilgisi gerektirmeden test yazmaya olanak tanıyan YAML formatını kullanır. İkinci örnek, React Native uygulaması için Detox üzerinde bir E2E testidir.

Maestro: YAML giriş senaryosu

Senaryo tam akışı tanımlar: uygulamayı açma, e-posta ve şifre girme, giriş düğmesine basma ve ana ekranın görüntülenmesini doğrulama. Maestro komutları sezgiseldir ve seçici yapılandırması gerektirmez — framework, öğeleri bulmak için öğe metnini kullanır.

# E2E: Kullanıcı Girişi
appId: com.example.myapp
---
- launchApp
- waitForVisibile:
    text: "Email"
- tapOn:
    text: "Email"
- inputText:
    text: "user@example.com"
- tapOn:
    text: "Password"
- inputText:
    text: "secret123"
- tapOn:
    id: "loginButton"
- waitForVisibile:
    text: "Welcome back!"
- assertVisible:
    text: "Welcome back!"

Detox: React Native için E2E testi

Detox (Wix), JS iş parçacığı ile otomatik senkronizasyon sayesinde test kararlılığını garanti eder. Test sleep kullanmaz — Detox, doğrulamadan önce tüm asenkron işlemlerin tamamlanmasını bekler.

describe('Login flow', () => {
    beforeEach(async () => {
        await device.reloadReactNative()
    })

    it('should login successfully', async () => {
        await expect(element(by.id('emailInput'))).toBeVisible()
        await element(by.id('emailInput')).typeText('user@example.com')
        await element(by.id('passwordInput')).typeText('secret123')
        await element(by.id('loginButton')).tap()
        await expect(element(by.text('Tekrar hoş geldiniz!'))).toBeVisible()
    })
})

CI/CD Pipeline'ında E2E Testi

E2E testlerini CI/CD'ye entegre etmek, etkinliklerinin temel faktörüdür. Önerilen strateji iki seviyeli bir pipeline'dır: her pull request'te minimum smoke seti (3–5 kritik E2E senaryosu) çalıştırılır ve tam regresyon seti gece (nightly build) veya sürümden önce çalıştırılır. Bu yaklaşım, geri bildirim hızı ile doğrulama derinliği arasında denge kurar.

CI'da E2E testleri için üç yön önemlidir: paralelleştirme — Firebase Test Lab veya AWS Device Farm aracılığıyla birden çok cihazda aynı anda test çalıştırmak, çalıştırma süresini saatlerden dakikalara düşürür; ortam konteynerizasyonu — backend ve test sunucusu için Docker kullanımı tekrarlanabilirliği sağlar; raporlama ve yeniden denemeler — başarısız testlerin otomatik olarak yeniden başlatılması (en fazla 2 deneme) ve her senaryonun yürütme videosunu içeren HTML raporu oluşturulması.

Google Testing Blog (2022)'ye göre, paralel çalıştırma ile özel E2E CI/CD pipeline'ı kullanan ekipler, regresyon tespit süresini %60 oranında azaltmaktadır. E2E testlerinin etkinliğinin temel metriği test sayısı değil, yanlış pozitif olmadan başarılı CI çalıştırma yüzdesidir. Hedef, kritik yolların tam kapsanmasıyla E2E seti kararlılığının %95'in üzerinde olmasıdır.