Obfuscator — 코드 난독화 방법 및 보호 도구 설명

Obfuscator란?

Obfuscator는 난독화를 수행하는 프로그램입니다: 읽을 수 있는 코드를 기능적으로는 동일하지만 사람이 읽을 수 없는 코드로 변환합니다. 난독화 도구의 주요 작업은 식별자 맹글링, 디버그 정보 제거, 제어 흐름 난독화 및 문자열 암호화입니다.

난독화는 암호화가 아닙니다. 암호화된 코드는 복호화 없이 실행할 수 없습니다. 난독화된 코드는 JVM, ART 또는 JavaScript 엔진에서 직접 실행되지만, 사람이 이해하기는 극히 어렵습니다. 난독화는 절대적인 보호를 제공하지 않습니다 — 결의에 찬 전문가는 난독화 해제 도구나 런타임 디버깅을 통해 항상 로직을 복원할 수 있습니다.

난독화 도구 개발의 역사

최초의 상용 난독화 도구인 ProGuard는 2002년 Java 애플릿용 도구로 등장했습니다. Android(2008)의 성장과 함께 ProGuard는 모바일 개발의 표준이 되었습니다. 2018년 Google은 Android Gradle Plugin 3.4용 ProGuard의 대체제로 R8을 출시했습니다. R8은 ProGuard보다 2~3배 빠르며 SSA(Static Single Assignment) 수준의 심층 최적화를 통해 더 컴팩트한 바이트코드를 생성합니다 — 이는 데이터 흐름 분석을 가능하게 하는 중간 표현 형식입니다.

웹 개발에서 난독화는 단순한 축소 도구(YUI Compressor, 2007)에서 복잡한 AST 변환기(Obfuscator.io, 2016)로 진화했습니다. 최신 JavaScript 난독화 도구는 제어 흐름 평탄화, 불투명 조건문(항상 참 또는 거짓이지만 분석자에게는 명확하지 않은 조건) 및 런타임 자체 복호화 기능이 있는 문자열 암호화를 사용합니다. Jscrambler(2012)는 난독화를 디버거 보호 및 DRM 메커니즘과 통합합니다.

적용 범위는 광범위합니다. 모바일 개발에서 난독화 도구는 APK 디컴파일러(jadx, APKTool, dex2jar)를 통한 코드 도난을 방지합니다. 웹 개발에서 JavaScript 난독화는 알고리즘, API 키 및 클라이언트 측 비즈니스 로직을 보호합니다. 라이브러리 및 SDK에서 난독화는 경쟁업체가 코드를 사용하는 것을 방지합니다.

난독화 도구가 코드에 하는 작업

코드 난독화 방법

Identifier Mangling은 가장 일반적인 방법입니다. 클래스, 메서드, 필드 및 변수의 이름이 짧고 정보가 없는 문자열(a, b, c, aa, ab)로 대체됩니다. 이는 각 코드 요소의 목적을 이해하기 어렵게 만듭니다. ProGuard와 R8은 서로 다른 유형(클래스 A, 필드 A, 메서드 A)에 동일한 이름을 사용하여 분석을 더욱 복잡하게 만듭니다.

제어 흐름 난독화는 코드 구조를 변경하여 선형 시퀀스가 명확하지 않게 만듭니다. 데드 브랜치가 추가되고 조건이 반전되며(if (a) 대신 if (!a)), goto 유사 연산자(레이블이 있는 break/continue)가 삽입됩니다. 이는 디컴파일러와 디버거를 통한 분석을 매우 시간 소모적으로 만듭니다.

Obfuscator.io를 통한 JavaScript 난독화 예제

// 소스 코드
function authenticate(token) {
  const url = "https://api.example.com/auth";
  const headers = { Authorization: "Bearer " + token };
  return fetch(url, { method: "POST", headers });
}

// Obfuscator.io high 모드 적용 후
const _0x4f2e = ["https://api.example.com/auth",
  "Authorization", "Bearer ", "POST"];
(function(_0x5a3b, _0x4f2e) {
  const _0x1c2d = function(_0x3e4f) {
    while (--_0x3e4f) {
      _0x5a3b["push"](_0x5a3b["shift"]());
    }
  };
  _0x1c2d(++_0x4f2e);
}(_0x4f2e, _0x1c2d));

function _0x1c2d(_0x5a3b, _0x4f2e) {
  return _0x4f2e[_0x5a3b];
}

function _0x3e4f(_0x1c2d) {
  const _0x5a3b = _0x1c2d(0, "https://api.example.com/auth");
  const _0x4f2e = { Authorization: "Bearer " + _0x1c2d };
  return fetch(_0x5a3b, { method: "POST", headers: _0x4f2e });
}

Obfuscator.io는 문자열 배열, 배열을 섞는 자체 호출 함수를 추가하고, 모든 식별자의 이름을 변경하고, 문자열을 배열 인덱스로 대체했습니다. 원래 5줄의 코드가 20줄 이상의 읽을 수 없는 코드로 변했지만, authenticate(token) 기능은 완전히 보존됩니다. AST 분석을 통한 난독화 해제는 가능하지만 시간이 필요합니다.

ProGuard 및 R8: Android 애플리케이션 난독화

ProGuard는 2002년부터 사용된 Java 및 Android용 클래식 난독화 도구입니다. ProGuard는 세 가지 작업을 수행합니다: 압축(사용되지 않는 클래스 및 메서드 제거), 최적화(바이트코드 최적화) 및 난독화(식별자 이름 변경). ProGuard는 라이브러리에 대한 예외 규칙이 포함된 proguard-rules.pro 파일을 통해 Android Gradle Plugin에 통합됩니다.

R8은 AGP 3.4부터 Android Gradle Plugin에 포함된 더 현대적인 난독화 도구입니다. R8은 ProGuard와 동일한 기능을 수행하지만 더 빠르며(처음부터 Kotlin으로 작성) 더 효율적입니다(ART Runtime에 대한 더 나은 바이트코드 최적화). R8은 ProGuard와 동일한 proguard-rules.pro 파일을 사용하여 구성됩니다. R8을 활성화하려면 build.gradle에서 minifyEnabled true를 설정하면 됩니다.

매핑 파일 및 크래시 리포트 난독화 해제

매핑 파일은 R8/ProGuard의 출력으로, 클래스, 메서드 및 필드의 원래 이름과 난독화된 이름 간의 매핑을 포함합니다. 매핑 파일은 크래시 리포트 분석에 중요합니다: 그것이 없으면 스택 트레이스에 com.example.app.MainActivity.onCreate 대신 a.a.b가 표시됩니다. Firebase Crashlytics 및 Sentry는 자동으로 매핑 파일을 업로드하고 리포트에서 원래 이름을 복원합니다.

매핑 파일은 새 애플리케이션 릴리스마다 Firebase 또는 Sentry에 업로드해야 합니다. 매핑 파일이 분실되거나 업로드되지 않으면 난독화 후 모든 크래시 리포트를 읽을 수 없게 됩니다. Android Gradle Plugin은 자동으로 매핑 파일을 build/outputs/mapping/release/mapping.txt에 저장합니다. Firebase는 릴리스 빌드 중에 매핑을 업로드하는 Crashlytics Gradle Plugin을 사용합니다.

Android용 ProGuard/R8 구성

// app/build.gradle — R8을 통한 난독화
android {
    buildTypes {
        release {
            minifyEnabled true
            proguardFiles getDefaultProguardFile(
                "proguard-android-optimize.txt"),
                "proguard-rules.pro"
        }
    }
}

# proguard-rules.pro — 유지 규칙
# Gson용 데이터 모델 유지
-keep class com.example.model.** { *; }

# Retrofit 인터페이스용 클래스 유지
-keep,allowobfuscation interface com.example.api.*

# 공개 활동 난독화 안 함
-keep class * extends android.app.Activity {
    public protected *;
}

# 프로덕션에서 로그 제거
-assumenosideeffects class android.util.Log {
    public static boolean isLoggable(...);
    public static int v(...);
    public static int d(...);
}

proguard-rules.pro의 -keep 규칙은 중요합니다 — 이것이 없으면 R8은 리플렉션(Gson, Retrofit, Room)을 통해 사용되는 클래스와 메서드를 제거하거나 이름을 변경합니다. assumentSideEffects는 프로덕션 코드에서 Log.v 및 Log.d 호출을 제거합니다. Gson, Retrofit 및 OkHttp와 같은 라이브러리는 AAR 내의 proguard.txt에 기성 규칙을 제공합니다.

JavaScript 난독화: Obfuscator.io 및 Jscrambler

Obfuscator.io는 식별자 이름 변경, 문자열 암호화, 제어 흐름 평탄화 및 디버거 보호를 지원하는 가장 인기 있는 오픈 소스 JavaScript 난독화 도구입니다. 구성은 JSON 구성 또는 CLI를 통해 수행됩니다. 무료 버전은 기본 방법을 지원하며, Enterprise 버전은 다형성 코드 및 자체 보호를 추가합니다.

Jscrambler는 고급 보호 기능을 갖춘 상용 JavaScript 난독화 도구입니다: 다형성 변환(각 실행이 새로운 난독화 코드 생성), 디버거 보호(DevTools 감지), 스크린샷 보호(자체 방어) 및 만료 메커니즘(특정 날짜 이후 코드 작동 중지). Jscrambler는 뱅킹 애플리케이션 및 DRM 시스템에서 사용됩니다.

Obfuscator.io 구성

// obfuscate.js — Obfuscator.io 구성
const JavaScriptObfuscator = require("javascript-obfuscator");
const fs = require("fs");

const code = fs.readFileSync("app.js", "utf8");
const result = JavaScriptObfuscator.obfuscate(code, {
  compact: true,
  controlFlowFlattening: true,
  controlFlowFlatteningThreshold: 0.75,
  numbersToExpressions: true,
  simplify: false,
  stringArray: true,
  stringArrayThreshold: 0.8,
  debugProtection: true,
  disableConsoleOutput: true,
});

fs.writeFileSync("app.obfuscated.js", result.code);

매개변수 Obfuscator.io: controlFlowFlattening: 0.75는 75% 블록에서 제어 흐름을 난독화합니다; stringArray: true는 문자열을 배열로 이동합니다; debugProtection은 DevTools 열기를 방지합니다; disableConsoleOutput은 console.log를 제거합니다. 임계값이 높을수록 난독화 시간과 코드 크기가 커지지만 분석은 더 어려워집니다.

난독화의 한계 및 위험

난독화는 런타임 분석으로부터 보호하지 않습니다. 공격자는 디버거(Frida, Objection, Xposed)에서 애플리케이션을 실행하고 실시간으로 메서드를 가로챌 수 있습니다. 난독화는 정적 분석(APK 디컴파일, 바이트코드 읽기)으로부터 보호하지만 동적 분석으로부터는 보호하지 않습니다. 런타임 보호를 위해서는 추가 조치가 필요합니다: SSL Pinning, Root Detection, Integrity Verification.

애플리케이션 크기는 난독화 후 20~50%까지 증가할 수 있습니다. 제어 흐름 난독화는 데드 브랜치를 추가하고 조건을 중복시켜 바이트코드 크기를 증가시킵니다. 문자열 암호화는 짧은 문자열 리터럴을 decrypt() 호출로 대체하여 크기도 증가시킵니다. 모바일 애플리케이션의 경우 APK 크기가 Google Play에서 전환율에 직접적인 영향을 미치므로 이는 중요합니다.

성능도 영향을 받습니다. 제어 흐름 난독화는 추가 검사 및 분기를 추가하여 메서드 실행 시간이 5~15% 증가합니다. 문자열 암호화는 각 문자열 액세스에 decrypt 호출을 추가합니다. 성능에 중요한 함수(Android의 onDraw, React의 render)의 경우 -keep 규칙을 통해 난독화를 비활성화해야 합니다.