Datadog: bu nədir, tətbiq monitorinqi və müşahidəolunma

Datadog nədir?

Datadog 2010-cu ildə Olivier Pomel və Alexis Le-Quioc tərəfindən yaradılmış bulud əsaslı monitorinq və müşahidəolunma platformasıdır. Platforma infrastruktur, tətbiqlər və istifadəçi cihazlarından metrikalar, loglar və treyslər toplamaq üçün vahid panel təqdim edir. Nöqtəvi həllərdən fərqli olaraq, Datadog APM, loglar, infrastruktur monitorinqi, Synthetic Monitoring və RUM-u bir məhsulda birləşdirir.

Datadog-un arxitekturası agentlərə əsaslanır - serverlərdə quraşdırılan və ya tətbiqlərə daxil edilən yüngül proqramlar. Agent məlumatları toplayır və şifrələnmiş əlaqə vasitəsilə Datadog-un bulud infrastrukturuna göndərir. Mobil platformalar üçün Datadog Android (Kotlin, Java) və iOS (Swift, Objective-C) üzərində işləyən yerli SDK-lar təqdim edir.

Gartner Magic Quadrant for APM and Observability (2024) hesabatına görə, Datadog ən geniş inteqrasiya olunmuş imkanlar dəsti ilə müşahidəolunma kateqoriyasında lider tanınmışdır. Platforma Samsung, Adidas və Peloton kimi şirkətlər tərəfindən gündəlik milyonlarla cihazı izləmək üçün istifadə olunur.

Mobil komandalar üçün Datadog xüsusilə dəyərlidir, çünki backend performansını cihazdakı istifadəçi təcrübəsi ilə əlaqələndirməyə imkan verir. API daha yavaş cavab verməyə başlayarsa, Datadog yalnız server cavab müddətini deyil, həm də bunun müəyyən bir telefon modelində ekranın işə salınma vaxtına və ya göstərilməsinə necə təsir etdiyini göstərir.

Platformanın əsas komponentləri

Infrastructure Monitoring serverlər, konteynerlər və Kubernetes klasterləri üçün CPU, yaddaş, disk və şəbəkə metrikalarını izləyir. APM (Application Performance Monitoring) paylanmış sistemdən keçən hər sorğu üçün treyslər toplayır və hər mərhələdə gecikmələri göstərir. Log Management bütün logları - sistemdən tətbiqə qədər - tam mətn axtarışı və loglar əsasında metrikalar yaratmaq imkanı ilə mərkəzləşdirir. Synthetic Monitoring müxtəlif coğrafi nöqtələrdən istifadəçi ssenarilərini simulyasiya edir. Real User Monitoring (RUM) telefonlar və planşetlər də daxil olmaqla real istifadəçi cihazlarından məlumat toplayır.

Qiymət modeli

Datadog məhsullar üzrə bölgü ilə pay-as-you-go modelindən istifadə edir: infrastruktur hostları, APM hostları, loglar (gigabaytlarla həcm), RUM sessiyaları və Synthetic testləri. Hər məhsul ayrıca hesablanır ki, bu da yalnız istifadə olunan funksiyalar üçün ödəməyə imkan verir. Qiymət infrastruktur monitorinqi üçün ayda host başına 15 dollardan və 10 000 RUM sessiyası üçün 1 dollardan başlayır. Startaplar üçün 100 000 dollaradək kreditlə Datadog for Startups proqramı mövcuddur.

Datadog APM və Distributed Tracing

Application Performance Monitoring (APM) Datadog-da sisteme daxil olma anından bütün iç-içə əməliyyatların tamamlanmasına qədər hər sorğunu izləyən distributed tracing sistemidir. APM avtomatik olaraq məşhur freymvorkları və kitabxanaları instrumentasiya edir: Spring Boot, Django, Express.js, ASP.NET Core və digərləri. Hər sorğu üçün APM flame graph - kodun bütün hissələrinin icra müddətinin vizual təsvirini qurur.

Flame graph hər funksiya çağırışının və ya xarici xidmətə sorğunun nə qədər vaxt apardığını göstərir. Verilənlər bazası metodu gözlənilən 200 millisaniyə əvəzinə 2 saniyə icra olunarsa, bu dərhal qrafikdə görünür. Datadog APM OpenTelemetry-ni dəstəkləyir - telemetriya toplamaq üçün açıq standart, bu da istənilən uyğun provayderlərdən instrumentasiya qoşmağa imkan verir.

Benchling Engineering Blog (2024) məlumatlarına görə, Datadog APM-yə miqrasiya komandaya treyslərin loglar və metrikalarla avtomatik korrelyasiyası sayəsində hadisələrin diaqnostika müddətini 45 dəqiqədən 8 dəqiqəyə endirməyə imkan verdi. Əsas ssenari trace-to-log correlation-dur: bir trace ID ilə əl ilə axtarış etmədən müəyyən bir sorğuya aid bütün logları tapmaq olar.

Service Map və asılılıqlar

Service Map sistemin bütün xidmətlərinin və onların qarşılıqlı əlaqələrinin avtomatik qurulmuş qrafik sxemidir. Hər xidmət düyün kimi göstərilir və düyünlər arasındakı birləşmələr xidmətlər arasında hansı çağırışların baş verdiyini göstərir. Düyünün rəngi sağlamlıq vəziyyətini əks etdirir: yaşıl - normal iş, sarı - artan gecikmə, qırmızı - səhvlər. Service Map hətta arxitekturanı əvvəlcədən öyrənmədən hansı xidmətin darboğaz olduğunu tez müəyyən etməyə kömək edir.

import datadog.trace.api.Trace;
import io.opentelemetry.api.trace.Span;

public class PaymentService {

    @Trace(resourceName = "PaymentService.processPayment")
    public PaymentResult processPayment(Order order) {
        Span span = Tracer.buildSpan("validate.payment").start();
        try {
            PaymentGateway gateway = new PaymentGateway();
            PaymentResult result = gateway.charge(order.getAmount());
            span.setTag("payment.provider", "stripe");
            return result;
        } finally {
            span.close();
        }
    }
}

Mobil tətbiqlər üçün Real User Monitoring

Real User Monitoring (RUM) Datadog-da real istifadəçi cihazlarından məlumat toplayır - ekranların yüklənmə müddəti, toxunuşlara reaksiya, yaddaş istehlakı, ANR (Application Not Responding) tezliyi və crash dərəcəsi. Android və iOS üçün RUM SDK tətbiqə daxil edilir və avtomatik olaraq bir istifadəçi qarşılıqlı əlaqəsi çərçivəsində bütün hadisələri qruplaşdıraraq sessiyalar yaradır.

Hər RUM sessiyası hadisələr ardıcıllığını ehtiva edir: ekranın açılması, düymənin basılması, şəbəkə sorğusu, sürüşdürmə. Hər hadisə üçün Datadog vaxt damğası, müddət və cihazın texniki xüsusiyyətlərini qeyd edir: model, OS, tətbiq versiyası, əlaqə növü. Bu, metrikaları konkret versiyalar və cihazlar üzrə filtrləməyə imkan verir. Məsələn, müəyyən bir Samsung modelində Android 14-də işə salınma vaxtının artdığını görmək olar.

RUM APM ilə sıx inteqrasiya olunub: istifadəçi sessiyası ödəniş ekranında səhvlə bitərsə, Datadog avtomatik olaraq backend-dən müvafiq trace göstərir. Bu, frontend və backend loglarının əl ilə uyğunlaşdırılması ilə müqayisədə diaqnostikanı 5-7 dəfə sürətləndirir. Mobil komandalar üçün RUM həmçinin watchlist hesabatları - əsas metrikaların pisləşməsi ilə bağlı həftəlik xülasələr təqdim edir.

RUM səhv monitorinqinin qurulması

Datadog RUM avtomatik olaraq mənbə kodu sətir nömrələri də daxil olmaqla tam stacktrace ilə crash hesabatlarını toplayır. Android üçün bu, ACRA və ya Firebase Crashlytics ilə inteqrasiya vasitəsilə, iOS üçün - PLCrashReporter vasitəsilə işləyir. Hər crash istifadəçi sessiyasına bağlanır ki, bu da çökməyə səbəb olan hərəkətlər ardıcıllığını bərpa etməyə imkan verir. RUM həmçinin Android tətbiqləri üçün ən kritik hadisələrdən biri olan ANR-ni izləyir. Tətbiq 5 saniyədən artıq cavab verməzsə, Datadog ANR qeyd edir və UI bloklanması anında tam thread dump göstərir.

Loglama və infrastruktur metrikaları

Log Management Datadog-da bütün tətbiq və infrastruktur loglarını tam mətn axtarışı ilə vahid anbarda mərkəzləşdirir. Mobil loglar (analitik hadisələr, API səhvləri, telemetriya) SDK vasitəsilə cihazdan göndərilir və ümumi identifikatorla server logları ilə birləşdirilir. Datadog avtomatik olaraq logları strukturlu sahələrə parçalayır: səviyyə (INFO, WARN, ERROR), xidmət, host, vaxt damğası, mesaj.

Logları filtrləmək üçün wildcard, müntəzəm ifadələr və fasetlər dəstəyi ilə öz sorğu dilindən istifadə olunur. Loglar şablonlar üzrə qruplaşdırıla bilər - Datadog avtomatik olaraq təkrarlanan patternləri aşkarlayır və onları bir klaster kimi göstərir. Bu, mobil cihazlardan minlərlə logun təhlili zamanı xüsusilə faydalıdır: eyni səhvlər qruplaşdırılır və tərtibatçı 10 000 sətir deyil, baş vermə tezliyi ilə 10 klaster görür.

Metrics 1 saniyədən aralıqla toplanan ədədi zaman sıralarıdır. Datadog üç növ metrikanı dəstəkləyir: gauge (cari dəyər), count (aralıq üçün cəmi) və rate (dəyişmə sürəti). Mobil tətbiqlər üçün xüsusi metrikalar ekran açılışlarının sayını, əsas biznes ssenarisinin icra müddətini və ya konkret funksiyanın istifadə tezliyini izləyə bilər. Xüsusi metrikalar DogStatsD - Datadog genişləndirmələri ilə StatsD uyğun protokolu vasitəsilə göndərilir.

import com.datadog.android.Datadog
import com.datadog.android.log.Logger

class PaymentAnalytics {

    private val logger = Logger.Builder()
        .setDatadogLogsEnabled(true)
        .setNetworkInfoEnabled(true)
        .setBundleWithTraceEnabled(true)
        .build()

    fun trackCheckout(orderId: String, amount: Double) {
        logger.info(
            "Checkout initiated for order {orderId}",
            mapOf(
                "order.id" to orderId,
                "order.amount" to amount,
                "payment.method" to "credit_card"
            )
        )
    }
}

Datadog SDK-nın mobil layihəyə inteqrasiyası

Datadog SDK Android və iOS üçün vahid modullar dəsti təqdim edir: Core (inisializasiya), RUM (istifadəçi təcrübəsinin monitorinqi), Logs (logların göndərilməsi), Trace (sorğuların izlənməsi). Android üçün SDK Gradle vasitəsilə, iOS üçün - CocoaPods və ya Swift Package Manager vasitəsilə əlavə olunur. SDK quraşdırıldıqdan sonra client token, environment və tətbiq adı ilə Application.onCreate (Android) və ya AppDelegate (iOS) daxilində inisializasiya edilir.

Android-də şəbəkə sorğularının avtomatik izlənməsi üçün OkHttp Interceptor, iOS-da - NSURLProtocol və ya URLSession delegate istifadə olunur. Datadog həmçinin məşhur HTTP kliyentləri ilə inteqrasiyanı dəstəkləyir: Retrofit, Apollo GraphQL, Ktor, Alamofire. Interceptor qoşulduqdan sonra hər HTTP sorğusu avtomatik olaraq RUM sessiyasına və APM-trace-ə bağlanaraq kliyentdən serverə vahid zəncir yaradır.

Gradle vasitəsilə konfiqurasiya (Android)

dependencies {
    // Əsas SDK və RUM modulu
    implementation "com.datadoghq:dd-sdk-android-core:2.15.0"
    implementation "com.datadoghq:dd-sdk-android-rum:2.15.0"
    // OkHttp ilə avtomatik izləmə üçün inteqrasiya
    implementation "com.datadoghq:dd-sdk-android-okhttp:2.15.0"
    // NDK crash reporting
    implementation "com.datadoghq:dd-sdk-android-ndk:2.15.0"
}

iOS-da inisializasiya (Swift)

import DatadogCore
import DatadogRUM
import DatadogLogs

@main class AppDelegate: UIResponder, UIApplicationDelegate {

    func application(
        _ application: UIApplication,
        didFinishLaunchingWithOptions: [UIApplication.LaunchOptionsKey: Any]?
    ) -> Bool {
        Datadog.initialize(
            with: DatadogConfiguration.builder(
                clientToken: "your_client_token",
                environment: "production"
            ).build()
        )
        RUM.enable(
            with: RUMConfiguration(applicationID: "your_rum_app_id")
        )
        return true
    }
}

Datadog panelləri və bildirişləri

Datadog qrafik panel redaktoru təqdim edir, burada metrika qrafiklərini, log cədvəllərini, səhv paylanması treemapını və SLO vidjetlərini birləşdirmək olar. Panellər şablon dəyişənlərini dəstəkləyir - məsələn, bütün xidmətlər üçün bir panel yaradıb xidmət adı ilə açılan siyahı vasitəsilə konteksti dəyişmək olar. Hər panel xarici maraqlı tərəflər üçün ictimai keçid vasitəsilə yalnız oxuma rejimində dərc edilə bilər.

Monitors (bildirişlər) sistemi istənilən metrika üçün hədd şərtləri təyin etməyə imkan verir: latensiya 5 dəqiqədən çox 500 ms-dən yuxarı olarsa - Slack, PagerDuty və ya e-poçt vasitəsilə bildiriş göndər. Datadog mürəkkəb şərtləri dəstəkləyir: "5xx səhvləri > 1% və sorğuların sayı > 1000/dəq olarsa, prioriteti kritikə yüksəlt". Mobil komandalar üçün xüsusilə faydalı olan regression detection monitorudur - Datadog avtomatik olaraq cari metrikanı tarixi baza xətti ilə müqayisə edir və statistik əhəmiyyətli pisləşmə olduqda xəbərdarlıq edir.

Gartner Peer Insights (2024) məlumatlarına görə, avtomatik korrelyasiya ilə Datadog monitorlarından istifadə edən komandalarda orta alert həll müddəti (MTTR) tətbiqdən sonra ilk ayda 35% azalır. Buna hər bildirişin yalnız işə düşmə şərtini deyil, həm də əlaqəli panellərə, loglara və treyslərə keçidləri ehtiva etməsi sayəsində nail olunur - tərtibatçı alətlər arasında keçid etməli olmur.