Datadog: এটি কী, অ্যাপ্লিকেশন মনিটরিং ও অবজার্ভেবিলিটি

Datadog কী?

Datadog একটি ক্লাউড মনিটরিং এবং অবজার্ভেবিলিটি প্ল্যাটফর্ম যা 2010 সালে Olivier Pomel এবং Alexis Lê-Quôc দ্বারা চালু করা হয়েছিল। প্ল্যাটফর্মটি ইনফ্রাস্ট্রাকচার, অ্যাপ্লিকেশন এবং ব্যবহারকারীর ডিভাইস থেকে মেট্রিক্স, লগ এবং ট্রেস সংগ্রহের জন্য একটি ইউনিফাইড ড্যাশবোর্ড সরবরাহ করে। পয়েন্ট সলিউশনের বিপরীতে, Datadog APM, লগ, ইনফ্রাস্ট্রাকচার মনিটরিং, Synthetic Monitoring এবং RUMকে একটি পণ্যে একত্রিত করে।

Datadog-এর আর্কিটেকচার এজেন্টদের উপর নির্মিত — হালকা প্রোগ্রাম যা সার্ভারে ইনস্টল হয় বা অ্যাপ্লিকেশনে এম্বেড হয়। এজেন্ট ডেটা সংগ্রহ করে এবং একটি এনক্রিপ্টেড সংযোগের মাধ্যমে Datadog ক্লাউড ইনফ্রাস্ট্রাকচারে পাঠায়। মোবাইল প্ল্যাটফর্মের জন্য, Datadog Android (Kotlin, Java) এবং iOS (Swift, Objective-C)-এ কাজ করে এমন নেটিভ SDK সরবরাহ করে।

Gartner Magic Quadrant for APM and Observability (2024) রিপোর্ট অনুসারে, Datadog-কে ইন্টিগ্রেটেড ক্ষমতার বিস্তৃত সেট সহ অবজার্ভেবিলিটি বিভাগে নেতা হিসেবে স্বীকৃতি দেওয়া হয়েছে। প্ল্যাটফর্মটি Samsung, Adidas এবং Peloton-এর মতো কোম্পানিগুলি প্রতিদিন লক্ষ লক্ষ ডিভাইস মনিটর করতে ব্যবহার করে।

মোবাইল টিমের জন্য, Datadog বিশেষভাবে মূল্যবান কারণ এটি ব্যাকএন্ড পারফরম্যান্সকে ডিভাইসে ব্যবহারকারীর অভিজ্ঞতার সাথে যুক্ত করে। যদি কোনো API ধীরে সাড়া দিতে শুরু করে, Datadog শুধু সার্ভারের প্রতিক্রিয়া সময়ই দেখায় না বরং এটি দেখায় যে কীভাবে এটি একটি নির্দিষ্ট ফোন মডেলে লঞ্চ টাইম বা স্ক্রিন রেন্ডারিংকে প্রভাবিত করেছে।

প্ল্যাটফর্মের মূল উপাদান

ইনফ্রাস্ট্রাকচার মনিটরিং সার্ভার, কন্টেইনার এবং Kubernetes ক্লাস্টারের জন্য CPU, মেমোরি, ডিস্ক এবং নেটওয়ার্ক মেট্রিক্স ট্র্যাক করে। APM (Application Performance Monitoring) ডিস্ট্রিবিউটেড সিস্টেমের মাধ্যমে যাওয়া প্রতিটি রিকোয়েস্টের জন্য ট্রেস সংগ্রহ করে এবং প্রতিটি হপে লেটেন্সি দেখায়। লগ ম্যানেজমেন্ট ফুল-টেক্সট সার্চ এবং লগ থেকে মেট্রিক্স তৈরি করার ক্ষমতা সহ সমস্ত লগ — সিস্টেম থেকে অ্যাপ্লিকেশন — কেন্দ্রীভূত করে। Synthetic Monitoring বিভিন্ন ভৌগলিক অবস্থান থেকে ব্যবহারকারীর পরিস্থিতি সিমুলেট করে। Real User Monitoring (RUM) মোবাইল ফোন এবং ট্যাবলেট সহ প্রকৃত ব্যবহারকারীর ডিভাইস থেকে ডেটা সংগ্রহ করে।

মূল্য নির্ধারণ মডেল

Datadog পণ্য-ভিত্তিক মূল্য নির্ধারণের সাথে একটি pay-as-you-go মডেল ব্যবহার করে: ইনফ্রাস্ট্রাকচার হোস্ট, APM হোস্ট, লগ (গিগাবাইটে ভলিউম), RUM সেশন এবং Synthetic টেস্ট। প্রতিটি পণ্য আলাদাভাবে বিল করা হয়, যা আপনাকে শুধুমাত্র ব্যবহৃত বৈশিষ্ট্যগুলির জন্য অর্থ প্রদান করতে দেয়। মূল্য নির্ধারণ ইনফ্রাস্ট্রাকচার মনিটরিংয়ের জন্য প্রতি মাসে $15 প্রতি হোস্ট এবং $1 প্রতি 10,000 RUM সেশন থেকে শুরু হয়। স্টার্টআপগুলি $100,000 পর্যন্ত ক্রেডিট সহ Datadog for Startups প্রোগ্রামের জন্য আবেদন করতে পারে।

Datadog APM এবং Distributed Tracing

Application Performance Monitoring (APM) Datadog-এ একটি ডিস্ট্রিবিউটেড ট্রেসিং সিস্টেম যা এন্ট্রি থেকে শুরু করে সমস্ত নেস্টেড অপারেশন সম্পূর্ণ হওয়া পর্যন্ত প্রতিটি রিকোয়েস্ট ট্র্যাক করে। APM স্বয়ংক্রিয়ভাবে জনপ্রিয় ফ্রেমওয়ার্ক এবং লাইব্রেরি ইনস্ট্রুমেন্ট করে: Spring Boot, Django, Express.js, ASP.NET Core এবং অন্যান্য। প্রতিটি রিকোয়েস্টের জন্য, APM একটি ফ্লেম গ্রাফ তৈরি করে — সমস্ত কোড পাথ জুড়ে এক্সিকিউশন সময়ের একটি ভিজ্যুয়াল উপস্থাপনা।

একটি ফ্লেম গ্রাফ দেখায় প্রতিটি ফাংশন কল বা বাহ্যিক সার্ভিস রিকোয়েস্ট কত সময় নিয়েছে। যদি একটি ডেটাবেস মেথড প্রত্যাশিত 200 মিলিসেকেন্ডের পরিবর্তে 2 সেকেন্ড নেয়, এটি গ্রাফে সাথে সাথে দেখা যায়। Datadog APM OpenTelemetry — টেলিমেট্রি সংগ্রহের জন্য একটি ওপেন স্ট্যান্ডার্ড — সমর্থন করে, যা আপনাকে যেকোনো সামঞ্জস্যপূর্ণ প্রদানকারীর থেকে ইনস্ট্রুমেন্টেশন সংযোগ করতে দেয়।

Benchling Engineering Blog (2024) অনুসারে, Datadog APM-এ মাইগ্রেট করা টিমের ঘটনা নির্ণয়ের সময় 45 মিনিট থেকে 8 মিনিটে কমিয়েছে লগ এবং মেট্রিক্সের সাথে ট্রেসের স্বয়ংক্রিয় সম্পর্কের মাধ্যমে। মূল দৃশ্যকল্প হল ট্রেস-টু-লগ সম্পর্ক: একটি ট্রেস আইডি দিয়ে, আপনি ম্যানুয়াল অনুসন্ধান ছাড়াই একটি নির্দিষ্ট রিকোয়েস্ট সম্পর্কিত সমস্ত লগ খুঁজে পেতে পারেন।

সার্ভিস ম্যাপ এবং নির্ভরতা

সার্ভিস ম্যাপ হল সমস্ত সিস্টেম সার্ভিস এবং তাদের আন্তঃসংযোগের একটি স্বয়ংক্রিয়ভাবে নির্মিত গ্রাফ। প্রতিটি সার্ভিস একটি নোড হিসাবে প্রদর্শিত হয়, এবং নোডগুলির মধ্যে সংযোগ দেখায় সার্ভিসগুলির মধ্যে কোন কল ঘটে। নোডের রঙ স্বাস্থ্যের অবস্থা প্রতিফলিত করে: সবুজ — স্বাভাবিক অপারেশন, হলুদ — বর্ধিত লেটেন্সি, লাল — ত্রুটি। সার্ভিস ম্যাপ আর্কিটেকচারের পূর্ব জ্ঞান ছাড়াই দ্রুত সনাক্ত করতে সাহায্য করে কোন সার্ভিসটি বাধা সৃষ্টি করছে।

import datadog.trace.api.Trace;
import io.opentelemetry.api.trace.Span;

public class PaymentService {

    @Trace(resourceName = "PaymentService.processPayment")
    public PaymentResult processPayment(Order order) {
        Span span = Tracer.buildSpan("validate.payment").start();
        try {
            PaymentGateway gateway = new PaymentGateway();
            PaymentResult result = gateway.charge(order.getAmount());
            span.setTag("payment.provider", "stripe");
            return result;
        } finally {
            span.close();
        }
    }
}

মোবাইল অ্যাপ্লিকেশনের জন্য Real User Monitoring

Real User Monitoring (RUM) Datadog-এ প্রকৃত ব্যবহারকারীর ডিভাইস থেকে ডেটা সংগ্রহ করে — স্ক্রিন লোড টাইম, টাচ রেসপন্সিভনেস, মেমোরি খরচ, ANR (Application Not Responding) ফ্রিকোয়েন্সি এবং ক্র্যাশ রেট। Android এবং iOS-এর জন্য RUM SDK অ্যাপ্লিকেশনে ইন্টিগ্রেট হয় এবং স্বয়ংক্রিয়ভাবে সেশন তৈরি করে, একটি একক ব্যবহারকারী ইন্টারঅ্যাকশনের মধ্যে সমস্ত ইভেন্ট গ্রুপ করে।

প্রতিটি RUM সেশনে ইভেন্টের একটি ক্রম থাকে: স্ক্রিন খোলা, বাটন ট্যাপ, নেটওয়ার্ক রিকোয়েস্ট, স্ক্রোল। প্রতিটি ইভেন্টের জন্য, Datadog একটি টাইমস্ট্যাম্প, সময়কাল এবং ডিভাইসের প্রযুক্তিগত বৈশিষ্ট্য রেকর্ড করে: মডেল, OS, অ্যাপ সংস্করণ, সংযোগের ধরন। এটি নির্দিষ্ট সংস্করণ এবং ডিভাইস দ্বারা মেট্রিক্স ফিল্টার করার অনুমতি দেয়। উদাহরণস্বরূপ, আপনি দেখতে পারেন যে একটি নির্দিষ্ট Samsung মডেলের সাথে Android 14-তে লঞ্চ টাইম বেড়েছে।

RUM APM-এর সাথে ঘনিষ্ঠভাবে ইন্টিগ্রেটেড: যদি একটি ব্যবহারকারী সেশন পেমেন্ট স্ক্রিনে ত্রুটির সাথে শেষ হয়, Datadog স্বয়ংক্রিয়ভাবে সংশ্লিষ্ট ব্যাকএন্ড ট্রেস দেখায়। এটি ফ্রন্টএন্ড এবং ব্যাকএন্ড লগ ম্যানুয়ালি মেলানোর তুলনায় নির্ণয়ের গতি 5-7 গুণ বাড়িয়ে দেয়। মোবাইল টিমের জন্য, RUM ওয়াচলিস্ট রিপোর্টও সরবরাহ করে — মূল মেট্রিক্সের অবনতির সাপ্তাহিক সারসংক্ষেপ।

RUM ত্রুটি মনিটরিং সেটআপ করা

Datadog RUM স্বয়ংক্রিয়ভাবে সম্পূর্ণ স্ট্যাকট্রেস সহ ক্র্যাশ রিপোর্ট সংগ্রহ করে, যার মধ্যে সোর্স কোড লাইন নম্বর অন্তর্ভুক্ত। Android-এর জন্য, এটি ACRA বা Firebase Crashlytics-এর সাথে ইন্টিগ্রেশনের মাধ্যমে কাজ করে; iOS-এর জন্য — PLCrashReporter-এর মাধ্যমে। প্রতিটি ক্র্যাশ একটি ব্যবহারকারী সেশনের সাথে যুক্ত থাকে, যা ক্র্যাশের দিকে নিয়ে যাওয়া ক্রিয়াগুলির ক্রম পুনরায় প্লে করতে দেয়। RUM ANR-ও ট্র্যাক করে — Android অ্যাপ্লিকেশনের জন্য সবচেয়ে গুরুত্বপূর্ণ ইভেন্টগুলির মধ্যে একটি। যদি অ্যাপ 5 সেকেন্ডের বেশি সময় ধরে সাড়া না দেয়, Datadog ANR রেকর্ড করে এবং UI ব্লকেজের সময় সম্পূর্ণ থ্রেড ডাম্প দেখায়।

লগিং এবং ইনফ্রাস্ট্রাকচার মেট্রিক্স

লগ ম্যানেজমেন্ট Datadog-এ ফুল-টেক্সট সার্চ সহ সমস্ত অ্যাপ্লিকেশন এবং ইনফ্রাস্ট্রাকচার লগ একটি রিপোজিটরিতে কেন্দ্রীভূত করে। মোবাইল লগ (অ্যানালিটিক্স ইভেন্ট, API ত্রুটি, টেলিমেট্রি) SDK-এর মাধ্যমে ডিভাইস থেকে পাঠানো হয় এবং একটি সাধারণ শনাক্তকারী ব্যবহার করে সার্ভার লগের সাথে মার্জ করা হয়। Datadog স্বয়ংক্রিয়ভাবে লগকে স্ট্রাকচার্ড ফিল্ডে পার্স করে: লেভেল (INFO, WARN, ERROR), সার্ভিস, হোস্ট, টাইমস্ট্যাম্প, বার্তা।

লগ ফিল্টারিংয়ের জন্য, Datadog তার নিজস্ব কোয়েরি ভাষা ব্যবহার করে যা ওয়াইল্ডকার্ড, রেগুলার এক্সপ্রেশন এবং ফ্যাসেট সমর্থন করে। লগ প্যাটার্ন দ্বারা গ্রুপ করা যেতে পারে — Datadog স্বয়ংক্রিয়ভাবে পুনরাবৃত্ত প্যাটার্ন সনাক্ত করে এবং সেগুলিকে একটি একক ক্লাস্টার হিসাবে প্রদর্শন করে। এটি মোবাইল ডিভাইস থেকে হাজার হাজার লগ পার্স করার সময় বিশেষভাবে কার্যকর: একই ত্রুটিগুলি গ্রুপ করা হয় এবং ডেভেলপার 10,000 লাইন নয় বরং ঘটনা ফ্রিকোয়েন্সি সহ 10 ক্লাস্টার দেখে।

মেট্রিক্স হল 1 সেকেন্ড থেকে অন্তরে সংগ্রহ করা সংখ্যাগত টাইম সিরিজ। Datadog তিনটি মেট্রিক প্রকার সমর্থন করে: gauge (বর্তমান মান), count (অন্তরের যোগফল) এবং rate (পরিবর্তনের হার)। মোবাইল অ্যাপ্লিকেশনের জন্য, কাস্টম মেট্রিক্স স্ক্রিন খোলার সংখ্যা, মূল ব্যবসায়িক দৃশ্যকল্প নির্বাহের সময় বা নির্দিষ্ট ফিচার ব্যবহারের ফ্রিকোয়েন্সি ট্র্যাক করতে পারে। কাস্টম মেট্রিক্স DogStatsD-এর মাধ্যমে পাঠানো হয় — Datadog এক্সটেনশন সহ StatsD-সামঞ্জস্যপূর্ণ প্রোটোকল।

import com.datadog.android.Datadog
import com.datadog.android.log.Logger

class PaymentAnalytics {

    private val logger = Logger.Builder()
        .setDatadogLogsEnabled(true)
        .setNetworkInfoEnabled(true)
        .setBundleWithTraceEnabled(true)
        .build()

    fun trackCheckout(orderId: String, amount: Double) {
        logger.info(
            "Checkout initiated for order {orderId}",
            mapOf(
                "order.id" to orderId,
                "order.amount" to amount,
                "payment.method" to "credit_card"
            )
        )
    }
}

মোবাইল প্রকল্পে Datadog SDK ইন্টিগ্রেশন

Datadog SDK Android এবং iOS-এর জন্য মডিউলগুলির একটি ইউনিফাইড সেট সরবরাহ করে: Core (ইনিশিয়ালাইজেশন), RUM (ব্যবহারকারীর অভিজ্ঞতা মনিটরিং), Logs (লগ পাঠানো), Trace (রিকোয়েস্ট ট্রেসিং)। Android-এর জন্য, SDK Gradle-এর মাধ্যমে যোগ করা হয়; iOS-এর জন্য — CocoaPods বা Swift Package Manager-এর মাধ্যমে। ইনস্টলেশনের পরে, SDK ক্লায়েন্ট টোকেন, এনভায়রনমেন্ট এবং অ্যাপ্লিকেশন নাম পাস করে Application.onCreate (Android) বা AppDelegate (iOS)-এ ইনিশিয়ালাইজ করা হয়।

Android-এ নেটওয়ার্ক রিকোয়েস্টের স্বয়ংক্রিয় ট্রেসিংয়ের জন্য, OkHttp Interceptor ব্যবহার করা হয়; iOS-এ — NSURLProtocol বা URLSession ডেলিগেট। Datadog জনপ্রিয় HTTP ক্লায়েন্ট: Retrofit, Apollo GraphQL, Ktor, Alamofire-এর সাথেও ইন্টিগ্রেশন সমর্থন করে। Interceptor সংযুক্ত করার পরে, প্রতিটি HTTP রিকোয়েস্ট স্বয়ংক্রিয়ভাবে একটি RUM সেশন এবং APM ট্রেসের সাথে লিঙ্ক হয়, যা ক্লায়েন্ট থেকে সার্ভারে একটি একক চেইন গঠন করে।

Gradle-এর মাধ্যমে কনফিগারেশন (Android)

dependencies {
    // প্রধান SDK এবং RUM মডিউল
    implementation "com.datadoghq:dd-sdk-android-core:2.15.0"
    implementation "com.datadoghq:dd-sdk-android-rum:2.15.0"
    // অটো-ট্রেসিংয়ের জন্য OkHttp ইন্টিগ্রেশন
    implementation "com.datadoghq:dd-sdk-android-okhttp:2.15.0"
    // NDK ক্র্যাশ রিপোর্টিং
    implementation "com.datadoghq:dd-sdk-android-ndk:2.15.0"
}

iOS-এ ইনিশিয়ালাইজেশন (Swift)

import DatadogCore
import DatadogRUM
import DatadogLogs

@main class AppDelegate: UIResponder, UIApplicationDelegate {

    func application(
        _ application: UIApplication,
        didFinishLaunchingWithOptions: [UIApplication.LaunchOptionsKey: Any]?
    ) -> Bool {
        Datadog.initialize(
            with: DatadogConfiguration.builder(
                clientToken: "your_client_token",
                environment: "production"
            ).build()
        )
        RUM.enable(
            with: RUMConfiguration(applicationID: "your_rum_app_id")
        )
        return true
    }
}

Datadog ড্যাশবোর্ড এবং সতর্কতা

Datadog একটি গ্রাফিক্যাল ড্যাশবোর্ড এডিটর সরবরাহ করে যেখানে আপনি মেট্রিক চার্ট, লগ টেবিল, ত্রুটি বিতরণ ট্রিম্যাপ এবং SLO উইজেট একত্রিত করতে পারেন। ড্যাশবোর্ড টেমপ্লেট ভেরিয়েবল সমর্থন করে — উদাহরণস্বরূপ, আপনি সমস্ত সার্ভিসের জন্য একটি ড্যাশবোর্ড তৈরি করতে পারেন এবং সার্ভিসের নাম সহ ড্রপডাউন ব্যবহার করে কনটেক্সট পরিবর্তন করতে পারেন। প্রতিটি ড্যাশবোর্ড পাবলিক লিঙ্কের মাধ্যমে বাহ্যিক স্টেকহোল্ডারদের জন্য শুধুমাত্র-পঠন মোডে প্রকাশ করা যেতে পারে।

মনিটর (সতর্কতা) সিস্টেম যেকোনো মেট্রিকের জন্য থ্রেশহোল্ড শর্ত নির্ধারণ করতে দেয়: যদি লেটেন্সি 5 মিনিটের বেশি সময় ধরে 500 ms অতিক্রম করে — Slack, PagerDuty বা ইমেলে একটি বিজ্ঞপ্তি পাঠান। Datadog যৌগিক শর্ত সমর্থন করে: “যদি 5xx ত্রুটি > 1% এবং রিকোয়েস্ট গণনা > 1000/মিনিট হয়, তাহলে অগ্রাধিকার ক্রিটিকাল-এ বাড়ান।” মোবাইল টিমের জন্য, রিগ্রেশন ডিটেকশন মনিটর বিশেষভাবে কার্যকর — Datadog স্বয়ংক্রিয়ভাবে বর্তমান মেট্রিককে ঐতিহাসিক বেসলাইনের সাথে তুলনা করে এবং পরিসংখ্যানগতভাবে গুরুত্বপূর্ণ অবনতির বিষয়ে সতর্ক করে।

Gartner Peer Insights (2024) অনুসারে, স্বয়ংক্রিয় সম্পর্ক সহ Datadog মনিটর ব্যবহারকারী টিমগুলির জন্য গড় সমাধানের সময় (MTTR) গ্রহণের পর প্রথম মাসে 35% হ্রাস পায়। এটি অর্জিত হয় কারণ প্রতিটি সতর্কতায় শুধু ট্রিগার শর্তই থাকে না বরং সম্পর্কিত ড্যাশবোর্ড, লগ এবং ট্রেসের লিঙ্কও থাকে — ডেভেলপারদের টুলের মধ্যে স্যুইচ করার প্রয়োজন হয় না।