Datadog: apa itu, monitoring aplikasi dan observabilitas

Apa itu Datadog?

Datadog adalah platform cloud untuk monitoring dan observabilitas, diluncurkan pada tahun 2010 oleh Olivier Pomel dan Alexis Le-Quioc. Platform ini menyediakan panel tunggal untuk mengumpulkan metrik, log, dan trace dari infrastruktur, aplikasi, dan perangkat pengguna. Tidak seperti solusi titik, Datadog menggabungkan APM, log, monitoring infrastruktur, Synthetic Monitoring, dan RUM dalam satu produk.

Arsitektur Datadog dibangun di atas agen - program ringan yang diinstal di server atau ditanamkan ke dalam aplikasi. Agen mengumpulkan data dan mengirimkannya ke infrastruktur cloud Datadog melalui koneksi terenkripsi. Untuk platform mobile, Datadog menyediakan SDK native yang bekerja di Android (Kotlin, Java) dan iOS (Swift, Objective-C).

Menurut laporan Gartner Magic Quadrant for APM and Observability (2024), Datadog diakui sebagai pemimpin dalam kategori observabilitas dengan rangkaian kemampuan terintegrasi terluas. Platform ini digunakan oleh perusahaan seperti Samsung, Adidas, dan Peloton untuk memantau jutaan perangkat setiap hari.

Bagi tim mobile, Datadog sangat berharga karena memungkinkan menghubungkan performa backend dengan pengalaman pengguna di perangkat. Jika API mulai merespons lebih lambat, Datadog tidak hanya menunjukkan waktu respons server, tetapi juga bagaimana hal ini memengaruhi waktu muat atau rendering layar pada model ponsel tertentu.

Komponen Utama Platform

Infrastructure Monitoring melacak metrik CPU, memori, disk, dan jaringan untuk server, container, dan cluster Kubernetes. APM (Application Performance Monitoring) mengumpulkan trace untuk setiap permintaan yang melalui sistem terdistribusi dan menunjukkan latensi di setiap tahap. Log Management memusatkan semua log - dari sistem hingga aplikasi - dengan kemampuan pencarian teks lengkap dan pembuatan metrik berdasarkan log. Synthetic Monitoring mensimulasikan skenario pengguna dari berbagai lokasi geografis. Real User Monitoring (RUM) mengumpulkan data dari perangkat pengguna nyata, termasuk ponsel dan tablet.

Model Harga

Datadog menggunakan model pay-as-you-go dengan pembagian per produk: host infrastruktur, host APM, log (volume dalam gigabyte), sesi RUM, dan tes Synthetic. Setiap produk ditagih secara terpisah, memungkinkan Anda membayar hanya untuk fitur yang digunakan. Biaya mulai dari $15 per host per bulan untuk monitoring infrastruktur dan dari $1 untuk 10.000 sesi RUM. Untuk startup, tersedia program Datadog for Startups dengan kredit hingga $100.000.

Datadog APM dan Distributed Tracing

Application Performance Monitoring (APM) di Datadog adalah sistem distributed tracing yang melacak setiap permintaan dari saat masuk ke sistem hingga selesainya semua operasi bersarang. APM secara otomatis menginstrumentasi framework dan pustaka populer: Spring Boot, Django, Express.js, ASP.NET Core, dan lainnya. Untuk setiap permintaan, APM membangun flame graph - representasi visual waktu eksekusi semua bagian kode.

Flame graph menunjukkan berapa lama setiap panggilan fungsi atau permintaan ke layanan eksternal berlangsung. Jika metode basis data dieksekusi dalam 2 detik, bukan 200 milidetik yang diharapkan, ini segera terlihat pada grafik. Datadog APM mendukung OpenTelemetry - standar terbuka untuk pengumpulan telemetri, yang memungkinkan menghubungkan instrumentasi dari penyedia yang kompatibel.

Menurut Benchling Engineering Blog (2024), migrasi ke Datadog APM memungkinkan tim mengurangi waktu diagnosis insiden dari 45 menit menjadi 8 menit berkat korelasi otomatis trace dengan log dan metrik. Skenario utamanya adalah trace-to-log correlation: dengan satu trace ID, semua log yang terkait dengan permintaan tertentu dapat ditemukan tanpa pencarian manual.

Service Map dan Dependensi

Service Map adalah diagram grafis yang dibangun secara otomatis dari semua layanan sistem dan saling keterkaitannya. Setiap layanan ditampilkan sebagai simpul, dan koneksi antar simpul menunjukkan panggilan apa yang terjadi antar layanan. Warna simpul mencerminkan status kesehatan: hijau - operasi normal, kuning - latensi meningkat, merah - kesalahan. Service Map membantu mengidentifikasi dengan cepat layanan mana yang menjadi hambatan, bahkan tanpa mempelajari arsitektur sebelumnya.

import datadog.trace.api.Trace;
import io.opentelemetry.api.trace.Span;

public class PaymentService {

    @Trace(resourceName = "PaymentService.processPayment")
    public PaymentResult processPayment(Order order) {
        Span span = Tracer.buildSpan("validate.payment").start();
        try {
            PaymentGateway gateway = new PaymentGateway();
            PaymentResult result = gateway.charge(order.getAmount());
            span.setTag("payment.provider", "stripe");
            return result;
        } finally {
            span.close();
        }
    }
}

Real User Monitoring untuk Aplikasi Mobile

Real User Monitoring (RUM) di Datadog mengumpulkan data dari perangkat pengguna nyata - waktu muat layar, respons terhadap sentuhan, konsumsi memori, frekuensi ANR (Application Not Responding) dan tingkat crash. SDK RUM untuk Android dan iOS ditanamkan ke dalam aplikasi dan secara otomatis membuat sesi, mengelompokkan semua peristiwa dalam satu interaksi pengguna.

Setiap sesi RUM berisi urutan peristiwa: membuka layar, menekan tombol, permintaan jaringan, menggulir. Untuk setiap peristiwa, Datadog mencatat stempel waktu, durasi, dan karakteristik teknis perangkat: model, OS, versi aplikasi, jenis koneksi. Ini memungkinkan pemfilteran metrik berdasarkan versi dan perangkat tertentu. Misalnya, Anda dapat melihat bahwa waktu muat meningkat pada Android 14 saat menggunakan model Samsung tertentu.

RUM terintegrasi erat dengan APM: jika sesi pengguna berakhir dengan kesalahan di layar pembayaran, Datadog secara otomatis menampilkan trace yang sesuai dari backend. Ini mempercepat diagnosis 5-7 kali dibandingkan dengan pencocokan manual log frontend dan backend. Untuk tim mobile, RUM juga menyediakan laporan watchlist - ringkasan mingguan tentang penurunan metrik utama.

Konfigurasi Monitoring Kesalahan RUM

Datadog RUM secara otomatis mengumpulkan laporan crash dengan stacktrace lengkap, termasuk nomor baris kode sumber. Untuk Android, ini bekerja melalui integrasi dengan ACRA atau Firebase Crashlytics, untuk iOS - melalui PLCrashReporter. Setiap crash dikaitkan dengan sesi pengguna, memungkinkan reproduksi urutan tindakan yang menyebabkan kegagalan. RUM juga melacak ANR - salah satu peristiwa paling kritis untuk aplikasi Android. Jika aplikasi tidak merespons lebih dari 5 detik, Datadog mencatat ANR dan menampilkan thread dump lengkap pada saat pemblokiran UI.

Logging dan Metrik Infrastruktur

Log Management di Datadog memusatkan semua log aplikasi dan infrastruktur dalam satu penyimpanan dengan pencarian teks lengkap. Log mobile (peristiwa analitik, kesalahan API, telemetri) dikirim dari perangkat melalui SDK dan digabungkan dengan log server melalui pengidentifikasi umum. Datadog secara otomatis mengurai log menjadi bidang terstruktur: tingkat (INFO, WARN, ERROR), layanan, host, stempel waktu, pesan.

Untuk memfilter log, digunakan bahasa kueri sendiri dengan dukungan wildcard, ekspresi reguler, dan faset. Log dapat dikelompokkan berdasarkan pola - Datadog secara otomatis mendeteksi pola berulang dan menampilkannya sebagai satu klaster. Ini sangat berguna saat menganalisis ribuan log dari perangkat mobile: kesalahan identik dikelompokkan, dan pengembang melihat bukan 10.000 baris, tetapi 10 klaster dengan frekuensi kemunculan.

Metrics adalah deret waktu numerik yang dikumpulkan pada interval dari 1 detik. Datadog mendukung tiga jenis metrik: gauge (nilai saat ini), count (jumlah per interval), dan rate (kecepatan perubahan). Untuk aplikasi mobile, metrik kustom dapat melacak jumlah pembukaan layar, waktu eksekusi skenario bisnis utama, atau frekuensi penggunaan fungsi tertentu. Metrik kustom dikirim melalui DogStatsD - protokol yang kompatibel dengan StatsD dengan ekstensi Datadog.

import com.datadog.android.Datadog
import com.datadog.android.log.Logger

class PaymentAnalytics {

    private val logger = Logger.Builder()
        .setDatadogLogsEnabled(true)
        .setNetworkInfoEnabled(true)
        .setBundleWithTraceEnabled(true)
        .build()

    fun trackCheckout(orderId: String, amount: Double) {
        logger.info(
            "Checkout initiated for order {orderId}",
            mapOf(
                "order.id" to orderId,
                "order.amount" to amount,
                "payment.method" to "credit_card"
            )
        )
    }
}

Integrasi Datadog SDK dalam Proyek Mobile

Datadog SDK untuk Android dan iOS menyediakan satu set modul yang seragam: Core (inisialisasi), RUM (monitoring pengalaman pengguna), Logs (pengiriman log), Trace (pelacakan permintaan). Untuk Android, SDK ditambahkan melalui Gradle, untuk iOS - melalui CocoaPods atau Swift Package Manager. Setelah instalasi, SDK diinisialisasi di Application.onCreate (Android) atau di AppDelegate (iOS) dengan memberikan client token, environment, dan nama aplikasi.

Untuk pelacakan otomatis permintaan jaringan di Android, digunakan OkHttp Interceptor, di iOS - NSURLProtocol atau URLSession delegate. Datadog juga mendukung integrasi dengan klien HTTP populer: Retrofit, Apollo GraphQL, Ktor, Alamofire. Setelah Interceptor terhubung, setiap permintaan HTTP secara otomatis dilampirkan ke sesi RUM dan APM-trace, membentuk rantai tunggal dari klien ke server.

Konfigurasi melalui Gradle (Android)

dependencies {
    // Modul SDK dan RUM utama
    implementation "com.datadoghq:dd-sdk-android-core:2.15.0"
    implementation "com.datadoghq:dd-sdk-android-rum:2.15.0"
    // Integrasi dengan OkHttp untuk pelacakan otomatis
    implementation "com.datadoghq:dd-sdk-android-okhttp:2.15.0"
    // NDK crash reporting
    implementation "com.datadoghq:dd-sdk-android-ndk:2.15.0"
}

Inisialisasi di iOS (Swift)

import DatadogCore
import DatadogRUM
import DatadogLogs

@main class AppDelegate: UIResponder, UIApplicationDelegate {

    func application(
        _ application: UIApplication,
        didFinishLaunchingWithOptions: [UIApplication.LaunchOptionsKey: Any]?
    ) -> Bool {
        Datadog.initialize(
            with: DatadogConfiguration.builder(
                clientToken: "your_client_token",
                environment: "production"
            ).build()
        )
        RUM.enable(
            with: RUMConfiguration(applicationID: "your_rum_app_id")
        )
        return true
    }
}

Dashboard dan Notifikasi Datadog

Datadog menyediakan editor dashboard grafis di mana Anda dapat menggabungkan grafik metrik, tabel log, treemap distribusi kesalahan, dan widget SLO. Dashboard mendukung variabel template - misalnya, Anda dapat membuat satu dashboard untuk semua layanan dan mengganti konteks melalui daftar dropdown dengan nama layanan. Setiap dashboard dapat dipublikasikan dalam mode hanya baca untuk pemangku kepentingan eksternal melalui tautan publik.

Sistem Monitors (notifikasi) memungkinkan pengaturan kondisi ambang batas untuk metrik apa pun: jika latensi melebihi 500 ms selama lebih dari 5 menit - kirim notifikasi ke Slack, PagerDuty, atau email. Datadog mendukung kondisi gabungan: “Jika kesalahan 5xx > 1% dan jumlah permintaan > 1000/menit, naikkan prioritas menjadi kritis”. Untuk tim mobile, monitor deteksi regresi sangat berguna - Datadog secara otomatis membandingkan metrik saat ini dengan garis dasar historis dan memberi peringatan saat terjadi penurunan yang signifikan secara statistik.

Menurut Gartner Peer Insights (2024), rata-rata waktu penyelesaian alert (MTTR) pada tim yang menggunakan monitor Datadog dengan korelasi otomatis turun 35% pada bulan pertama setelah implementasi. Ini dicapai karena setiap notifikasi tidak hanya berisi kondisi pemicu, tetapi juga tautan ke dashboard, log, dan trace terkait - pengembang tidak perlu beralih antar alat.