TestFlight: 개념, 설정 및 테스트 작업

TestFlight란 무엇인가요?

TestFlight는 App Store에 게시하기 전에 출시 전 앱 빌드를 배포하기 위해 App Store Connect에 통합된 베타 테스트 플랫폼입니다. 개발자는 Xcode를 통해 보관된 빌드를 업로드하고 IPA 파일을 수동으로 배포할 필요 없이 테스터에게 배포합니다.

Apple은 2014년에 Provisioning Profile을 통한 Ad Hoc 배포를 대체하기 위해 TestFlight를 인수했습니다. 이전에는 개발자가 기기 UDID를 수집하고, 프로비저닝 프로필을 만들고, 타사 서비스를 통해 IPA를 배포했습니다. TestFlight는 전체 프로세스를 자동화했습니다. 테스터는 TestFlight App을 통해 베타 앱을 설치하고, 개발자는 웹 인터페이스를 통해 액세스를 관리합니다.

WWDC 2024에 따르면 TestFlight는 매월 200만 건 이상의 테스트 설치를 처리합니다. 이 플랫폼은 iOS, iPadOS, macOS, tvOS, watchOS 및 visionOS를 포함한 모든 Apple 플랫폼에서 배포를 지원하여 Apple 생태계에서 유일한 통합 베타 테스트 도구입니다.

내부 및 외부 테스트

TestFlight는 테스트를 두 가지 유형으로 나눕니다. 팀원을 위한 내부 테스트(최대 100명, 업로드 직후 빌드 사용 가능)와 외부 사용자를 위한 외부 테스트(최대 10,000명, Beta App Review 필요)입니다. 내부 테스트는 심사가 필요 없어 팀 내에서 빠른 빌드 검증에 이상적입니다.

외부 테스트는 이메일 또는 공개 링크를 통해 테스터를 초대할 수 있습니다. Beta App Review를 통과하면 모든 초대받은 사람이 빌드를 다운로드할 수 있습니다. 처음 출시되는 앱의 경우 App Store Review Guidelines에 따라 외부 테스트가 필수입니다.

TestFlight 작동 방식: 주요 시나리오

TestFlight 워크플로는 Xcode에서 앱을 보관하고 Organizer 또는 Transporter를 통해 App Store Connect에 업로드하는 것으로 시작됩니다. 업로드 후 빌드는 자동 유효성 검사 및 보안 검사를 거칩니다.

내부 테스터는 TestFlight App을 통해 사용 가능한 빌드에 대한 알림을 받습니다. 앱을 설치하고 내장된 스크린샷 및 텍스트 댓글 인터페이스를 통해 피드백을 남길 수 있습니다. 외부 테스터의 경우 Beta App Review 승인이 필요하며, 승인 후에는 내부 테스터와 동일한 방식으로 빌드가 배포됩니다.

TestFlight는 자동으로 사용 메트릭을 수집합니다. 설치 수, 충돌 로그, 주석이 포함된 스크린샷 및 피드백 등입니다. 개발자는 App Store Connect의 TestFlight 섹션에서 이 데이터를 확인합니다. 모든 데이터는 빌드 버전별로 집계되어 여러 빌드 간의 안정성을 비교하기 쉽습니다.

빌드 만료

TestFlight에 업로드된 각 빌드에는 90일의 만료 기간이 있습니다. 만료 후 테스터는 앱을 설치하거나 실행할 수 없습니다. 테스트를 계속하려면 버전 번호를 높인 새 빌드를 업로드해야 합니다. 이 제한은 개발자가 정기적으로 빌드를 업데이트하도록 유도합니다.

만료일이 가까워지면 TestFlight가 개발자와 테스터 모두에게 알림을 보냅니다. 제때 새 빌드가 업로드되지 않으면 테스트가 중단되고 참가자는 새 버전이 나올 때까지 앱에 액세스할 수 없습니다.

App Store Connect에서 TestFlight 설정

TestFlight 설정은 App Store Connect의 TestFlight 섹션에서 시작됩니다. 시작하려면 업로드된 앱 빌드가 하나 이상 필요합니다. 인터페이스는 빌드, 내부 테스터, 외부 그룹의 세 가지 주요 섹션으로 나뉩니다.

내부 테스터는 Apple ID로 추가됩니다. 각 참가자는 테스트 액세스 권한이 포함된 역할로 App Store Connect를 통해 초대되어야 합니다. 초대 후 테스터는 이메일을 받고 기기에서 TestFlight App을 통해 앱을 설치할 수 있습니다.

외부 테스트의 경우 시나리오별로 테스터를 그룹화하는 그룹이 생성됩니다. 각 그룹은 특정 빌드에 연결됩니다. 그룹은 자체 가입을 위한 공개 링크를 가질 수 있으며, 이는 오픈 소스 프로젝트나 대규모 베타 테스트에 편리합니다. Apple Developer Documentation에 따르면 공개 링크는 언제든지 취소할 수 있으며 이미 가입한 테스터의 액세스에는 영향을 미치지 않습니다.

TestFlight에 빌드 업로드

TestFlight에 빌드 업로드는 프로젝트를 보관한 후 Xcode Organizer를 통해 수행됩니다. 업로드하려면 App Store Connect에서 Admin 또는 App Manager 권한이 있는 Apple Developer Program 계정이 필요합니다.

업로드 전에 빌드는 유효한 배포 인증서로 서명되어야 하며 App Store 배포용 Provisioning Profile을 포함해야 합니다. Xcode는 활성 개발자 계정이 있을 때 자동 서명을 통해 자동으로 서명을 구성합니다.

# Upload via xcrun altool (Xcode 15+ uses notarytool)
xcrun notarytool submit MyApp.ipa --apple-id "developer@example.com" --team-id "TEAMID123" --password "@keychain:AC_PASSWORD" --wait

# Upload to App Store Connect directly
xcrun altool --upload-app -f MyApp.ipa -t ios -u "developer@example.com" -p "@keychain:AC_PASSWORD"

업로드 후 빌드는 자동 검증을 거칩니다. 바이너리 유효성 검사, 악성 코드 스캔, App Store Review Guidelines 준수 확인 등입니다. 검증은 일반적으로 몇 분에서 한 시간 정도 소요됩니다. 상태는 App Store Connect의 TestFlight 섹션에 표시됩니다.

CI/CD를 통한 자동 업로드

CI/CD(GitHub Actions, Bitrise, Jenkins)의 경우 xcrun altool 또는 notarytool을 사용하여 Xcode 없이 직접 빌드를 업로드합니다. 인증 키는 Keychain 또는 App Store Connect API에 저장됩니다. Fastlane은 전체 프로세스 자동화를 위한 upload_to_testflight 액션을 제공합니다.

테스터 초대: 내부 및 외부

TestFlight에 테스터를 초대하는 방법은 테스트 유형에 따라 다릅니다. 내부 테스터는 App Store Connect에서 직접 Apple ID로 추가되며 업로드 직후 모든 빌드에 액세스할 수 있습니다. 외부 테스터는 특정 빌드가 할당된 그룹을 통해 초대됩니다.

외부 테스트의 경우 Beta App Review를 통과해야 합니다. 이는 기본 기능과 규정 준수를 확인하는 간소화된 버전의 App Review입니다. 첫 번째 외부 빌드는 일반적으로 1~2일 안에 검토를 통과하며, 이후 빌드는 더 빠릅니다. 승인 후 그룹의 모든 테스터가 알림을 받습니다.

공개 링크는 초대를 간소화합니다. 개발자가 웹사이트나 소셜 미디어에 링크를 게시하면 사용자가 링크를 따라가 자동으로 테스트에 참여합니다. TestFlight는 외부 그룹당 최대 10,000명의 참가자를 지원하며 그룹 수에는 제한이 없습니다. 각 앱에 대해 다른 빌드로 여러 그룹을 구성할 수 있습니다.

피드백 작업

테스터는 TestFlight App을 통해 피드백을 보내고 스크린샷과 주석을 첨부합니다. 개발자는 App Store Connect에서 빌드별로 그룹화된 모든 피드백을 확인합니다. 각 피드백에는 OS 버전, 기기 모델 및 타임스탬프가 포함되어 있어 버그 재현 및 수정이 용이합니다.

테스트 후 출시

TestFlight에서 App Store로 앱을 출시하는 데 재빌드가 필요하지 않습니다. App Store Connect에서 승인된 베타 빌드를 선택하고 검토 제출을 클릭하기만 하면 됩니다. 베타 테스트를 거친 동일한 빌드가 재컴파일 없이 최종 App Review에 제출됩니다.

이로 인해 테스터가 테스트한 정확한 버전이 프로덕션에 배포되어 베타 빌드와 릴리스 빌드 간의 차이 위험이 제거됩니다. 최종 App Review를 통과하면 구성된 가용성 규칙에 따라 빌드가 자동으로 App Store에 출시됩니다.

출시 전에 개발자는 메타데이터(버전 설명, 새 OS 버전용 스크린샷, 변경 사항 정보)를 업데이트해야 합니다. App Store에 제출되지 않은 TestFlight 빌드는 업로드 90일 후 모든 테스트 데이터와 함께 자동으로 삭제됩니다.