Firebase Test Lab — คืออะไร ประเภทการทดสอบอุปกรณ์และระบบอัตโนมัติ

Firebase Test Lab คืออะไร

Firebase Test Lab คือโครงสร้างพื้นฐานคลาวด์ของ Google สำหรับการทดสอบแอปพลิเคชันมือถือแบบอัตโนมัติบนอุปกรณ์จริงที่อยู่ในศูนย์ข้อมูลทั่วโลกของ Google ต่างจากโปรแกรมจำลองบนเครื่องท้องถิ่น Test Lab จะเรียกใช้การทดสอบบนอุปกรณ์ Android จริงและอุปกรณ์ iOS จริงด้วยระบบปฏิบัติการเวอร์ชันต่างๆ ความละเอียดหน้าจอ ขนาด RAM และระดับ API ที่แตกต่างกัน บริการจะประมวลผลผลการทดสอบโดยอัตโนมัติ ให้วิดีโอการดำเนินการ ภาพหน้าจอขั้นตอน และบันทึกโดยละเอียด

ประโยชน์ของการทดสอบบนคลาวด์

การดูแลฟาร์มอุปกรณ์ของคุณเองต้องใช้เงินลงทุนจำนวนมากในการซื้อและบำรุงรักษาอุปกรณ์จริง Firebase Test Lab ให้การเข้าถึงอุปกรณ์นับพันเครื่องแบบจ่ายตามการใช้งาน ด้วยขีดจำกัดฟรีในแผน Spark Test Lab จะอัปเดตกลุ่มอุปกรณ์เป็นรุ่นปัจจุบันโดยอัตโนมัติ รวมถึงรุ่นเรือธงล่าสุด Google Pixel, Samsung Galaxy, Xiaomi และ iPhone การทดสอบจะทำงานแบบขนานบนอุปกรณ์หลายเครื่อง ซึ่งช่วยลดเวลาในการตรวจสอบแอปพลิเคชันโดยรวม

แพลตฟอร์มที่รองรับ

สำหรับ Android Test Lab รองรับการทดสอบบนอุปกรณ์ที่มีระดับ API ตั้งแต่ 21 ถึงเวอร์ชัน Android เสถียรล่าสุด การรองรับ iOS รวมถึงอุปกรณ์ iPhone และ iPad จริงที่มีเวอร์ชัน iOS ตั้งแต่ 15 ถึงเวอร์ชันเสถียรล่าสุด การทดสอบหุ่นยนต์และ XCTest พร้อมใช้งานสำหรับ iOS การทดสอบแต่ละครั้งสามารถเรียกใช้บนอุปกรณ์จริงหรือโปรแกรมจำลอง — เพื่อผลลัพธ์ที่แม่นยำที่สุด Google แนะนำให้ใช้อุปกรณ์จริงเนื่องจากเผยให้เห็นปัญหาที่เกี่ยวข้องกับเซ็นเซอร์ กล้อง และอินเทอร์เฟซเครือข่าย

ประเภทการทดสอบใน Firebase Test Lab

Firebase Test Lab รองรับการทดสอบหลายประเภท ซึ่งแต่ละประเภทแก้ปัญหาเฉพาะในวงจรการพัฒนา: การทดสอบหุ่นยนต์สำหรับตรวจสอบความเสถียรอย่างรวดเร็ว การทดสอบเครื่องมือสำหรับการตรวจสอบการทำงาน และการทดสอบภาพหน้าจอสำหรับตรวจจับการถดถอยทางภาพ การเลือกประเภทการทดสอบขึ้นอยู่กับขั้นตอนการพัฒนาและเป้าหมายของการเรียกใช้เฉพาะนั้น

การทดสอบหุ่นยนต์ (Robo tests)

การทดสอบหุ่นยนต์คือคุณสมบัติพิเศษของ Firebase Test Lab ที่ไม่ต้องเขียนโค้ดทดสอบ Firebase Crawler จะสำรวจแอปพลิเคชันโดยอัตโนมัติ: ค้นหาองค์ประกอบส่วนติดต่อผู้ใช้แบบโต้ตอบทั้งหมด คลิกที่องค์ประกอบเหล่านั้น กรอกแบบฟอร์มด้วยข้อมูลทดสอบ นำทางระหว่างหน้าจอ และบันทึกความล้มเหลวใดๆ (การขัดข้อง, ANR, ข้อยกเว้น) การทดสอบหุ่นยนต์ตรวจจับข้อบกพร่องร้ายแรงได้ถึง 80% โดยไม่ต้องเขียนโค้ดทดสอบแม้แต่บรรทัดเดียว ทำให้เป็นเครื่องมือที่เหมาะสำหรับการประเมินความเสถียรพื้นฐานของแอปพลิเคชันในขั้นตอนแรกของการพัฒนา

การทดสอบเครื่องมือ

การทดสอบเครื่องมือคือการทดสอบที่นักพัฒนเขียนขึ้นโดยใช้เฟรมเวิร์ก Espresso (Android) หรือ XCTest (iOS) Test Lab จะเรียกใช้ APK พร้อมการทดสอบบนอุปกรณ์เป้าหมายและรวบรวมผลการดำเนินการ การทดสอบอาจเป็นแบบง่าย (ตรวจสอบการแสดงผลขององค์ประกอบ) หรือซับซ้อน (สถานการณ์ตั้งแต่ต้นจนจบ: เข้าสู่ระบบ เพิ่มในรถเข็น ชำระเงิน) Firebase Test Lab รองรับ Android Test Orchestrator สำหรับแยกการทดสอบออกจากกัน ป้องกันไม่ให้การทดสอบที่ล้มเหลวหนึ่งรายการส่งผลกระทบต่อรายการอื่น

การทดสอบภาพหน้าจอ (Game loop และภาพหน้าจอ)

การทดสอบภาพหน้าจอใช้สำหรับตรวจจับการถดถอยทางภาพในแอปพลิเคชัน Game loop คือประเภทการทดสอบพิเศษที่ส่งรายการสถานการณ์ไปยังแอปพลิเคชันผ่าน intent และแอปพลิเคชันต้องดำเนินการตามสถานการณ์เหล่านี้และถ่ายภาพหน้าจอของหน้าจอสำคัญ Test Lab จะรวบรวมภาพหน้าจอจากอุปกรณ์ทั้งหมดในเมทริกซ์และอนุญาตให้เปรียบเทียบกับภาพอ้างอิงเพื่อตรวจจับความแตกต่าง การทดสอบประเภทนี้ได้รับความนิยมเป็นพิเศษในแอปพลิเคชันเกมสำหรับตรวจสอบการเรนเดอร์บน GPU ที่แตกต่างกัน

เมทริกซ์อุปกรณ์และการกำหนดค่า

เมทริกซ์การทดสอบ ใน Firebase Test Lab คือชุดของการกำหนดค่าอุปกรณ์ที่ใช้ในการดำเนินการทดสอบที่เลือก แต่ละการกำหนดค่าประกอบด้วยรุ่นอุปกรณ์ เวอร์ชันระบบปฏิบัติการ การวางแนวหน้าจอ (แนวตั้ง/แนวนอน) และการตั้งค่าภูมิภาค (locale, ภาษา) การทดสอบจะทำงานแบบขนานบนการกำหนดค่าที่เลือกทั้งหมด ซึ่งช่วยลดเวลาในการดำเนินการโดยรวมเมื่อเทียบกับการทำงานตามลำดับบนแต่ละอุปกรณ์

การเลือกอุปกรณ์สำหรับเมทริกซ์

Google แนะนำให้รวมอุปกรณ์ที่มีคุณลักษณะแตกต่างกันในเมทริกซ์: รุ่นเรือธง (Google Pixel, Samsung Galaxy S) อุปกรณ์ประหยัด (Moto G, Xiaomi Redmi) อุปกรณ์ที่มีเวอร์ชัน API ขั้นต่ำที่แอปพลิเคชันรองรับ เมทริกซ์ที่เหมาะสมที่สุด ประกอบด้วยการกำหนดค่า 5–10 รายการที่ครอบคลุมเวอร์ชันระบบปฏิบัติการทั้งหมดที่แอปพลิเคชันรองรับ สำหรับ iOS จะเลือกรุ่น iPhone และ iPad จากรุ่นต่างๆ (เช่น iPhone SE, iPhone 14, iPad Air) ด้วยเวอร์ชัน iOS ที่แตกต่างกัน

การจัดกลุ่มการทดสอบและความขนาน

Test Lab จะกระจายการทดสอบไปยังอุปกรณ์ที่เลือกโดยอัตโนมัติ โดยเรียกใช้การทดสอบแต่ละครั้งบนการกำหนดค่าแต่ละรายการ เวลาในการดำเนินการของเมทริกซ์ทั้งหมดเท่ากับเวลาในการดำเนินการของการทดสอบที่ช้าที่สุดบนอุปกรณ์ที่ช้าที่สุด — ส่วนที่เหลือทั้งหมดทำงานแบบขนาน หากการทดสอบหนึ่งล้มเหลวบนอุปกรณ์ทั้งหมด Test Lab จะหยุดการดำเนินการบนการกำหนดค่าที่เหลือเพื่อประหยัดทรัพยากร ผลลัพธ์จะถูกจัดกลุ่มตามการทดสอบและตามอุปกรณ์ ช่วยให้ระบุได้อย่างรวดเร็วว่าข้อผิดพลาดนั้นเฉพาะเจาะจงกับการกำหนดค่าใดการกำหนดค่าหนึ่งหรือไม่

การทดสอบหุ่นยนต์: การสำรวจอัตโนมัติ

การทดสอบหุ่นยนต์ คือคุณสมบัติเรือธงของ Firebase Test Lab ที่ช่วยให้คุณสำรวจแอปพลิเคชันโดยอัตโนมัติโดยไม่ต้องเขียนการทดสอบแม้แต่ครั้งเดียว Firebase Crawler (หุ่นยนต์) จะวิเคราะห์ลำดับชั้นส่วนติดต่อผู้ใช้ของแอปพลิเคชัน ค้นหาองค์ประกอบแบบโต้ตอบทั้งหมด (ปุ่ม, ฟิลด์ข้อความ, รายการ, เมนู) และโต้ตอบกับองค์ประกอบเหล่านั้น โดยจำลองพฤติกรรมของผู้ใช้จริง การทดสอบหุ่นยนต์มีประสิทธิภาพโดยเฉพาะอย่างยิ่งในขั้นตอนแรกของการพัฒนา เมื่อการทดสอบยังไม่ได้ถูกเขียนขึ้น หรือสำหรับการตรวจสอบโค้ดเก่า

การตั้งค่าการทดสอบหุ่นยนต์

ในการเรียกใช้การทดสอบหุ่นยนต์ เพียงอัปโหลด APK หรือ IPA ไปยัง Firebase Console และเลือกตัวเลือก Robo test หุ่นยนต์สามารถเข้าสู่ระบบแอปพลิเคชันโดยอัตโนมัติผ่านข้อมูลประจำตัวที่กำหนดไว้ล่วงหน้า (ชื่อผู้ใช้/รหัสผ่าน) เพื่อเข้าถึงหน้าจอที่ซ่อนอยู่หลังการรับรองความถูกต้อง คุณยังสามารถกำหนดความลึกในการสำรวจ (max depth) เพื่อจำกัดจำนวนขั้นตอนของหุ่นยนต์ หรือระบุองค์ประกอบเฉพาะที่หุ่นยนต์ควรคลิกเป็นลำดับความสำคัญ

<!-- res/xml/robo_directives.xml -->
<!-- หุ่นยนต์จะกรอกฟิลด์ชื่อผู้ใช้และรหัสผ่าน -->
<?xml version="1.0" encoding="utf-8"?>
<robo-directives
    xmlns:android="http://schemas.android.com/apk/res/android">
    <directive
        android:resourceName="@id/et_email"
        android:inputValue="test@example.com" />
    <directive
        android:resourceName="@id/et_password"
        android:inputValue="password123" />
    <directive
        android:resourceName="@id/btn_login"
        android:clickAction="CLICK" />
</robo-directives>

ข้อจำกัดของการทดสอบหุ่นยนต์

การทดสอบหุ่นยนต์ไม่ได้แทนที่การทดสอบด้วยตนเองและการทดสอบเครื่องมือที่เขียนขึ้นสำหรับสถานการณ์ที่ซับซ้อน หุ่นยนต์ไม่สามารถตรวจสอบตรรกะทางธุรกิจ: มันคลิกที่องค์ประกอบทั้งหมดตามลำดับ แต่ไม่ทราบว่าผลลัพธ์ถูกต้องหรือไม่ นอกจากนี้ หุ่นยนต์ไม่สามารถโต้ตอบกับมุมมองที่กำหนดเองซึ่งไม่สืบทอดจาก ViewGroup มาตรฐาน และไม่สามารถจัดการ WebView ได้ สำหรับกรณีเหล่านี้ ต้องใช้การทดสอบเครื่องมือหรือ Game loop

การรวมกับ CI/CD และ Gradle

การรวม Firebase Test Lab กับระบบ CI/CD ช่วยให้คุณเรียกใช้การทดสอบโดยอัตโนมัติทุกครั้งที่มีการพุชไปยังที่เก็บโค้ด Test Lab รองรับงาน Gradle สำหรับ Android และ Fastlane สำหรับทั้งสองแพลตฟอร์ม การตั้งค่าไปป์ไลน์ CI/CD รวมถึงการสร้างแอปพลิเคชัน การอัปโหลด APK/IPA ไปยัง Google Cloud Storage การเรียกใช้การทดสอบผ่าน Firebase CLI และการรับรายงานกลับไปยังระบบ CI เพื่อแสดงสถานะการสร้าง

การตั้งค่าผ่าน Gradle (Android)

Google มีปลั๊กอิน gcloud-test-lab สำหรับ Gradle ซึ่งจะทำให้การอัปโหลดและเรียกใช้การทดสอบเป็นอัตโนมัติ งาน assembleAndroidTest จะสร้าง APK พร้อมการทดสอบ และงาน gcloud จะอัปโหลดไปยัง Test Lab และเรียกใช้เมทริกซ์ ผลการทดสอบจะถูกส่งกลับไปยัง Gradle เป็น pass/fail ซึ่งช่วยให้รวม Test Lab เข้ากับไปป์ไลน์ CI ใดๆ ที่รองรับ Gradle บัญชีบริการ Firebase ที่มีสิทธิ์ Test Lab ใช้สำหรับการอนุญาต

// build.gradle (module: app)
task runTestLab() {
    exec {
        commandLine "gcloud", "firebase", "test", "android", "run",
            "--type", "robo",
            "--app", "build/outputs/apk/debug/app-debug.apk",
            "--device", "model=Pixel7,version=33",
            "--device", "model=GalaxyS23,version=34",
            "--device", "model=RedmiNote12,version=31",
            "--timeout", "15m",
            "--results-dir", "firebase/test-lab/robo"
    }
}

การตั้งค่าผ่าน Fastlane

Fastlane มีปลั๊กอิน firebase_test_lab สำหรับรวมกับการทดสอบ iOS และ Android เลน Fastlaneจะดำเนินการสร้าง เรียกใช้การทดสอบ และประมวลผลผลลัพธ์ สำหรับ XCTest บน iOS Test Lab ต้องการไฟล์ xctestrun ซึ่งจะถูกสร้างขึ้นโดยอัตโนมัติเมื่อสร้างเป้าหมายการทดสอบ Fastlane ยังสามารถอัปโหลดผลการทดสอบไปยัง Slack หรือแอปส่งข้อความอื่นๆ เพื่อแจ้งให้ทีมทราบเกี่ยวกับสถานะการทดสอบหลังจากแต่ละการเรียกใช้

การวิเคราะห์ผลการทดสอบ

หลังจากการทดสอบเสร็จสิ้น Firebase Test Lab จะให้รายงานที่ครอบคลุมซึ่งพร้อมใช้งานใน Firebase Console และผ่าน gcloud CLI รายงานประกอบด้วยสรุปโดยย่อ (จำนวนการทดสอบที่ผ่าน ล้มเหลว และข้ามไป) ข้อมูลโดยละเอียดสำหรับการทดสอบแต่ละครั้งบนอุปกรณ์แต่ละเครื่อง วิดีโอการดำเนินการ ภาพหน้าจอของขั้นตอนสำคัญ และบันทึกของอุปกรณ์ (logcat สำหรับ Android, บันทึกระบบสำหรับ iOS) สำหรับการทดสอบที่ล้มเหลว มีสแต็กเทรซพร้อมตำแหน่งที่แน่นอนของข้อผิดพลาด

การตีความผลการทดสอบหุ่นยนต์

สำหรับการทดสอบหุ่นยนต์ รายงานจะแตกต่างจากการทดสอบเครื่องมือ: แทนที่จะเป็น pass/fail ต่อกรณีทดสอบ รายงานจะแสดงสถิติการสำรวจ เมตริกสำคัญ — จำนวนหน้าจอที่พบและเยี่ยมชม จำนวนการโต้ตอบของหุ่นยนต์ (การคลิก การปัด การป้อนข้อความ) การขัดข้องและ ANR ที่ตรวจพบ และเส้นทางที่เดินทางผ่านแอปพลิเคชัน วิดีโอการดำเนินการของหุ่นยนต์ช่วยให้คุณประเมินด้วยภาพว่าหน้าจอใดได้รับการทดสอบและหน้าจอใดยังไม่ได้รับการครอบคลุม

การส่งออกผลลัพธ์

ผลการทดสอบจะถูกเก็บไว้ใน Google Cloud Storage ในบักเก็ตที่เชื่อมโยงกับโปรเจกต์ ข้อมูลพร้อมใช้งานสำหรับการส่งออกและการรวมเข้ากับระบบวิเคราะห์ภายนอก สำหรับการจัดเก็บระยะยาวและการเปรียบเทียบผลลัพธ์ระหว่างการเรียกใช้ ขอแนะนำให้ตั้งค่าการส่งออก BigQuery หรือใช้ Firebase Test Lab API สำหรับการรับผลลัพธ์ด้วยโปรแกรม Google ให้ความสามารถในการดาวน์โหลดไฟล์ ZIP ที่มีชุดผลลัพธ์ที่สมบูรณ์สำหรับการเรียกใช้การทดสอบแต่ละครั้ง