মোবাইল অ্যাপ্লিকেশনে A/B টেস্টিং — এটি কী, টেস্টের প্রকার এবং কীভাবে পরিচালনা করবেন

Q: A/B টেস্টের জন্য কতজন ব্যবহারকারী প্রয়োজন?

প্রয়োজনীয় নমুনা আকার প্রত্যাশিত প্রভাব এবং মেট্রিক পরিবর্তনশীলতার উপর নির্ভর করে। 10% বর্তমান কনভার্সন হারের সাথে 5% কনভার্সন পরিবর্তন সনাক্ত করতে, প্রতি গ্রুপে প্রায় 25,000 ব্যবহারকারীর প্রয়োজন। 1% পরিবর্তন সনাক্ত করতে, 500,000+ ব্যবহারকারীর প্রয়োজন। ন্যূনতম নমুনা আকার গণনা করতে টেস্ট শুরু করার আগে একটি পাওয়ার বিশ্লেষণ ক্যালকুলেটর ব্যবহার করুন।

Q: A/B টেস্ট কতক্ষণ চলতে হবে?

সর্বনিম্ন সময়কাল 7 দিন ব্যবহারকারীর আচরণের সাপ্তাহিক চক্র বিবেচনায় নিতে। কম ট্রাফিক সহ B2B বা বিশেষায়িত অ্যাপের জন্য, সময়কাল 2-4 সপ্তাহ হতে পারে। পরিকল্পিত শেষ তারিখের আগে টেস্ট বন্ধ করবেন না, এমনকি ফলাফল সুস্পষ্ট মনে হলেও — এটি মিথ্যা ইতিবাচকের প্রধান উৎস।

Q: একসাথে একাধিক A/B টেস্ট চালানো কি সম্ভব?

হ্যাঁ, কিন্তু সাবধানতার সাথে। প্রতিটি টেস্টের স্বাধীন ব্যবহারকারী সেগমেন্ট ব্যবহার করা উচিত, অন্যথায় ফলাফল হস্তক্ষেপ করতে পারে। উদাহরণস্বরূপ, একই দর্শকের উপর বাটনের রঙ এবং বাটনের অবস্থান পরীক্ষা করা ভুল ফলাফল দেবে। পরীক্ষার স্তর (layers) ব্যবহার করুন — প্রতিটি স্তর ব্যবহারকারীদের একটি স্বাধীন নমুনা পায়। অধিকাংশ A/B প্ল্যাটফর্ম স্তরিত পরীক্ষা সমর্থন করে।

Q: A/B টেস্ট ক্যানারি রিলিজ থেকে কীভাবে আলাদা?

A/B টেস্ট দুটি বৈকল্পিকের কার্যকারিতা তুলনা করার জন্য একটি পরীক্ষা, যা প্রশ্নের উত্তর দেয় “কোন বৈকল্পিক ব্যবসার জন্য ভাল।” ক্যানারি রিলিজ একটি নতুন সংস্করণের স্থায়িত্ব যাচাই করার জন্য একটি স্থাপনার কৌশল, যা প্রশ্নের উত্তর দেয় “সেবা কি ভেঙে যাবে।” ক্যানারি ধীরে ধীরে দর্শক সম্প্রসারণ ব্যবহার করে, A/B একটি নির্দিষ্ট 50/50 (বা অন্যান্য) বিভাজন ব্যবহার করে। কখনও কখনও ক্যানারি পরিকাঠামো A/B টেস্টের ভিত্তি হিসাবে ব্যবহৃত হয়।

Q: কোন p-value যথেষ্ট বিবেচিত হয়?

মানক সীমা হল p-value < 0.05, যা 95% আস্থার সাথে মিলে যায়। উচ্চ-ঝুঁকির সিদ্ধান্তের জন্য (যেমন, পেমেন্ট প্রবাহ পরিবর্তন), p-value < 0.01 (99%) সুপারিশ করা হয়। অনুসন্ধানমূলক টেস্টের জন্য, p-value < 0.1 গ্রহণযোগ্য। গুরুত্বপূর্ণ: p-value শুধুমাত্র পরিসংখ্যানগত তাৎপর্য দেখায়, ব্যবহারিক নয় — p < 0.001 হলেও, প্রভাব বাস্তবায়নের জন্য খুব ছোট হতে পারে।

লেখক: IT Sectr প্রকাশিত: 2026-04-12 পড়ার সময়: 9 মিনিট

A/B টেস্টিং হল তুলনামূলক পরীক্ষার একটি পদ্ধতি যেখানে একটি পণ্যের দুটি সংস্করণ (নিয়ন্ত্রণ A এবং পরীক্ষামূলক B) সবচেয়ে কার্যকর বৈকল্পিক নির্ধারণের জন্য ব্যবহারকারীদের বিভিন্ন গ্রুপকে একসাথে দেখানো হয়। মোবাইল ডেভেলপমেন্টে, A/B টেস্ট ইন্টারফেস, কনভার্সন এবং ব্যবহারকারীর অভিজ্ঞতা অপ্টিমাইজ করতে ব্যবহৃত হয়। Harvard Business Review (2024) অনুসারে, যে কোম্পানিগুলি পদ্ধতিগতভাবে A/B টেস্টিং ব্যবহার করে তারা গড়ে 20% কনভার্সন বাড়ায়। A/B টেস্টিং অন্তর্দৃষ্টির পরিবর্তে ডেটার উপর ভিত্তি করে সিদ্ধান্ত নেওয়ার অনুমতি দেয়।

মূল বিষয়

A/B টেস্টিং — সেরা বৈকল্পিক সনাক্ত করতে প্রকৃত ব্যবহারকারীদের উপর একটি পণ্যের দুটি সংস্করণের তুলনা
প্রক্রিয়া হাইপোথিসিস গঠন, ট্রাফিক বিভাজন, ডেটা সংগ্রহ এবং পরিসংখ্যান বিশ্লেষণ অন্তর্ভুক্ত করে
মাল্টিভেরিয়েট টেস্টিং একসাথে একাধিক ভেরিয়েবল পরীক্ষা করার অনুমতি দেয়
সরঞ্জাম মোবাইল A/B টেস্টিংয়ের মধ্যে Firebase Remote Config, Amplitude এবং Leanplum অন্তর্ভুক্ত
সাধারণ ভুল — অকাল টেস্ট বন্ধ করা, একাধিক তুলনা এবং অপর্যাপ্ত নমুনা আকার

A/B টেস্টিং কী

A/B টেস্টিং (স্প্লিট টেস্টিং) হল র্যান্ডমাইজড নিয়ন্ত্রিত পরীক্ষার একটি পদ্ধতি যেখানে ব্যবহারকারীদের দুটি গ্রুপ একটি পণ্যের বিভিন্ন সংস্করণ দেখে। গ্রুপ A (নিয়ন্ত্রণ) বর্তমান সংস্করণ পায়, গ্রুপ B (চিকিৎসা) সংশোধিত সংস্করণ পায়। গ্রুপগুলির মধ্যে মেট্রিক্সের তুলনা একটি নির্দিষ্ট মানদণ্ড অনুসারে কোন সংস্করণটি বেশি কার্যকর তা নির্ধারণ করতে দেয়: কনভার্সন, অ্যাপে সময়, রাজস্ব বা ধরে রাখা।

সংজ্ঞা এবং উদ্দেশ্য

A/B টেস্টিংয়ের মূল লক্ষ্য হল ডেটা-চালিত সিদ্ধান্ত গ্রহণ। “কোন বাটনের রঙ ভাল” নিয়ে তর্ক করার পরিবর্তে, দল একটি পরীক্ষা চালায় এবং একটি উদ্দেশ্যমূলক উত্তর পায়। মোবাইল ডেভেলপমেন্টে, A/B টেস্ট অনবোর্ডিং প্রবাহ, পেমেন্ট স্ক্রিন, পুশ বিজ্ঞপ্তি, ইন্টারফেস উপাদানের অবস্থান এবং সুপারিশ অ্যালগরিদম অপ্টিমাইজ করতে ব্যবহৃত হয়। প্রতিটি পরীক্ষায় একটি হাইপোথিসিস পরীক্ষা করা উচিত যা বিন্যাসে তৈরি করা হয়েছে “যদি X করা হয়, তাহলে মেট্রিক Y, Z% দ্বারা পরিবর্তিত হবে।”

পরিসংখ্যানগত তাৎপর্য

A/B টেস্টের ফলাফল শুধুমাত্র তখনই নির্ভরযোগ্য বলে বিবেচিত হয় যখন পরিসংখ্যানগত তাৎপর্য অর্জিত হয় — সাধারণত p-value < 0.05 (95% আস্থা ব্যবধান)। এর মানে হল সুযোগ দ্বারা পার্থক্য পর্যবেক্ষণের সম্ভাবনা 5% এর কম। প্রয়োজনীয় নমুনা আকার সঠিকভাবে গণনা করতে, পাওয়ার বিশ্লেষণ ব্যবহার করা হয়: প্রত্যাশিত প্রভাব যত ছোট, পরীক্ষায় তত বেশি ব্যবহারকারীকে অন্তর্ভুক্ত করতে হবে। লক্ষ লক্ষ ব্যবহারকারী সহ মোবাইল অ্যাপের জন্য, একটি A/B টেস্ট কয়েক ঘন্টায় সম্পন্ন হতে পারে; ছোট প্রকল্পের জন্য, এটি 1-2 সপ্তাহ সময় নিতে পারে।

A/B টেস্টিং কীভাবে কাজ করে

A/B টেস্টিং প্রক্রিয়ায় ছয়টি ধাপ রয়েছে: হাইপোথিসিস প্রণয়ন, পরীক্ষা নকশা, বাস্তবায়ন, লঞ্চ, ডেটা সংগ্রহ এবং বিশ্লেষণ। প্রতিটি ধাপ অত্যন্ত গুরুত্বপূর্ণ: যেকোনো ধাপে ত্রুটি টেস্টের ফলাফলকে অবিশ্বস্ত করে তোলে। আসুন Firebase Remote Config উদাহরণ হিসাবে ব্যবহার করে একটি মোবাইল অ্যাপে একটি সাধারণ A/B টেস্ট বাস্তবায়ন দেখি।

পরীক্ষা প্রক্রিয়া

হাইপোথিসিস প্রণয়নের পরে, ডেভেলপার কম্পোনেন্টের উভয় সংস্করণ প্রয়োগ করে এবং সেগুলিকে পরীক্ষা সিস্টেমের সাথে সংযুক্ত করে। Firebase Remote Config একটি নতুন সংস্করণ প্রকাশ না করেই দূরবর্তীভাবে অ্যাপ প্যারামিটার নিয়ন্ত্রণ করতে দেয়। পরীক্ষা শুরু হওয়ার পরে প্রথম লঞ্চে ব্যবহারকারীদের এলোমেলোভাবে গ্রুপ A বা B-তে নিয়োগ করা হয়। গুরুত্বপূর্ণ: নিয়োগ স্থিতিশীল হতে হবে — একজন ব্যবহারকারী পুরো পরীক্ষা জুড়ে সর্বদা একই সংস্করণ দেখেন। সিস্টেম স্বয়ংক্রিয়ভাবে নির্বাচিত মেট্রিক্সের উপর বিশ্লেষণ সংগ্রহ করে এবং রিয়েল টাইমে প্রাথমিক ফলাফল প্রদর্শন করে।

kotlin

class ExperimentManager {
    private val remoteConfig = Firebase.remoteConfig

    fun getCheckoutVariant(): CheckoutVariant {
        val variantName = remoteConfig
            .getString("checkout_experiment")

        return when (variantName) {
            "control" -> CheckoutVariant.Control
            "new_layout" -> CheckoutVariant.NewLayout
            else -> CheckoutVariant.Control
        }
    }

    fun trackConversion(userId: String, variant: CheckoutVariant) {
        Firebase.analytics.logEvent("checkout_completed") {
            param("experiment", "checkout_layout")
            param("variant", variant.name)
        }
    }
}

ফলাফল বিশ্লেষণ

পর্যাপ্ত ডেটা (পূর্ব-গণনা করা নমুনা আকার) সংগ্রহের পরে, পরিসংখ্যান বিশ্লেষণ করা হয়। প্রধান তুলনা মেট্রিক হল 95% আস্থা ব্যবধান সহ গ্রুপগুলির মধ্যে আপেক্ষিক পার্থক্য। যদি আস্থা ব্যবধান শূন্য অতিক্রম না করে, ফলাফলটি তাৎপর্যপূর্ণ বলে বিবেচিত হয়। অতিরিক্তভাবে, গার্ডরেল মেট্রিক্স পরীক্ষা করা হয় — সূচক যা খারাপ হওয়া উচিত নয় (উদাহরণস্বরূপ, স্ক্রিন লোড সময়)। যদি গার্ডরেল মেট্রিক্স প্রভাবিত হয়, তাহলে প্রধান মেট্রিক উন্নত হলেও পরীক্ষা বন্ধ করা হয়।

A/B টেস্টের প্রকার

বিভিন্ন ধরণের পরীক্ষামূলক নকশা রয়েছে, প্রতিটি ভিন্ন পরিস্থিতিতে এবং জটিলতার স্তরের জন্য উপযুক্ত। ভুল ধরনের টেস্ট নির্বাচন করা অবিশ্বস্ত ফলাফল বা সময় এবং সম্পদের অযৌক্তিক অপচয় হতে পারে। আসুন মোবাইল ডেভেলপমেন্টে ব্যবহৃত প্রধান ধরণের A/B টেস্টগুলি বিবেচনা করি।

মাল্টিভেরিয়েট টেস্টিং

MVT (মাল্টিভেরিয়েট টেস্টিং) একসাথে একাধিক ভেরিয়েবল পরীক্ষা করার অনুমতি দেয় — উদাহরণস্বরূপ, বাটনের রঙ এবং শিরোনাম পাঠ্য। দুটি বৈকল্পিক (A/B) এর পরিবর্তে, MVT 4 টি সংমিশ্রণ (2×2) তৈরি করে। সুবিধা হল ভেরিয়েবলের মধ্যে মিথস্ক্রিয়া সনাক্ত করার ক্ষমতা। অসুবিধা হল যে উল্লেখযোগ্যভাবে বড় নমুনা আকার প্রয়োজন, কারণ প্রতিটি সংমিশ্রণকে পরিসংখ্যানগত তাৎপর্য অর্জন করতে হবে। MVT শুধুমাত্র উচ্চ ট্রাফিক অ্যাপ্লিকেশনের জন্য সুপারিশ করা হয় (লক্ষ লক্ষ DAU)।

ব্যান্ডিট অ্যালগরিদম

স্থির 50/50 বিভাজন সহ ক্লাসিক A/B টেস্টের বিপরীতে, মাল্টি-আর্মড ব্যান্ডিট ডেটা আসার সাথে সাথে আরও ভাল বৈকল্পিকের পক্ষে গতিশীলভাবে ট্রাফিক পুনরায় বিতরণ করে। এটি পরীক্ষার “খরচ” এর ক্ষেত্রে আরও কার্যকর — কম ব্যবহারকারী স্পষ্টভাবে খারাপ বৈকল্পিক পান। তবে, ব্যান্ডিট অ্যালগরিদমগুলি বিশ্লেষণ করা আরও জটিল এবং অসম ট্রাফিকের অধীনে অকালে একটি উপ-অনুকূল বৈকল্পিকে একত্রিত হতে পারে। মোবাইল অ্যাপের জন্য, ব্যান্ডিট পদ্ধতি পুশ বিজ্ঞপ্তি এবং সুপারিশগুলি অপ্টিমাইজ করার জন্য উপযুক্ত।

টেস্টের ধরন	ভেরিয়েবল	নমুনা আকার	কখন ব্যবহার করবেন
A/B	1	কম	সরল হাইপোথিসিস, 2 বৈকল্পিক
A/B/n	1 (n বৈকল্পিক)	মাঝারি	একটি পরিবর্তনের জন্য একাধিক বিকল্প
MVT	2+	উচ্চ	একাধিক পরিবর্তনের মিথস্ক্রিয়া
ব্যান্ডিট	1+	গতিশীল	রিয়েল-টাইম অপ্টিমাইজেশন

A/B টেস্টিংয়ের সরঞ্জাম

A/B টেস্টিং সরঞ্জামগুলির ইকোসিস্টেম পরীক্ষার জন্য বিশেষায়িত প্ল্যাটফর্ম এবং মোবাইল SDK-এর অন্তর্নির্মিত ক্ষমতা উভয়ই কভার করে। একটি নির্দিষ্ট সমাধানের পছন্দ প্রযুক্তি স্ট্যাক, ট্রাফিক ভলিউম এবং পরীক্ষা কনফিগারেশনে প্রয়োজনীয় নমনীয়তার উপর নির্ভর করে।

মোবাইল টেস্টের জন্য প্ল্যাটফর্ম

Firebase Remote Config মোবাইল অ্যাপ্লিকেশনে A/B টেস্টিংয়ের জন্য সবচেয়ে জনপ্রিয় সমাধান। Remote Config একটি নতুন সংস্করণ প্রকাশ না করেই অ্যাপ প্যারামিটার পরিবর্তন করার অনুমতি দেয় এবং অন্তর্নির্মিত A/B Testing SDK স্বয়ংক্রিয়ভাবে ব্যবহারকারীদের গ্রুপে বিতরণ করে এবং বিশ্লেষণ সংগ্রহ করে। Google Analytics for Firebase কনভার্সন এবং ইভেন্ট ট্র্যাক করার জন্য একীকরণ সরবরাহ করে। বিকল্পগুলি: ব্যান্ডিট অ্যালগরিদমের সমর্থন সহ Amplitude Experiment, মার্কেটিং পরীক্ষার জন্য Leanplum এবং সার্ভার-সাইড টেস্টিংয়ের জন্য Split.io।

সার্ভার-সাইড A/B টেস্টিং

মোবাইল অ্যাপের ব্যাকএন্ড পরিষেবাগুলির জন্য, A/B টেস্টিং ফিচার ফ্ল্যাগ সিস্টেম (LaunchDarkly, Unleash) এর মাধ্যমে বাস্তবায়িত হয়। সার্ভার ব্যবহারকারী আইডি বা ডিভাইস আইডির উপর ভিত্তি করে বৈকল্পিক সম্পর্কে সিদ্ধান্ত নেয় এবং ক্লায়েন্টের কাছে ফলাফল ফেরত দেয়। সুবিধা হল বিতরণের উপর সম্পূর্ণ নিয়ন্ত্রণ এবং ক্লায়েন্ট আপডেট না করেই বৈকল্পিক পরিবর্তন করার ক্ষমতা। সার্ভার-সাইড টেস্টের জন্য, ধারাবাহিকতা নিশ্চিত করা গুরুত্বপূর্ণ: একজন ব্যবহারকারী সর্বদা একই বৈকল্পিক গ্রহণ করা উচিত, অন্যথায় টেস্টের ফলাফল অবিশ্বস্ত হবে। হ্যাশ-ভিত্তিক বিতরণ (উদাহরণস্বরূপ, ব্যবহারকারী আইডি দ্বারা সামঞ্জস্যপূর্ণ হ্যাশিং) ডেটাবেসে ম্যাপিং সঞ্চয় করার প্রয়োজন ছাড়াই স্থিতিশীল বৈকল্পিক নিয়োগের গ্যারান্টি দেয়, যা স্কেলিংকে সহজ করে এবং একক ব্যর্থতার পয়েন্ট দূর করে।

A/B টেস্টে ভুল

সঠিকভাবে বাস্তবায়িত A/B টেস্টের সাথেও, পরিসংখ্যানগত ফাঁদ এর কারণে ভুল সিদ্ধান্ত নেওয়া যেতে পারে। Microsoft Research (2024) অনুসারে, বাণিজ্যিক পণ্যগুলিতে 70% পর্যন্ত A/B টেস্টে অন্তত একটি পদ্ধতিগত ত্রুটি থাকে। আসুন সবচেয়ে সাধারণ সমস্যা এবং সেগুলি প্রতিরোধের উপায়গুলি দেখি।

অকাল বন্ধ করা

সবচেয়ে সাধারণ ভুল হল পরিসংখ্যানগত তাৎপর্য এর প্রথম লক্ষণে টেস্ট বন্ধ করা। যদি প্রতি ঘন্টায় তাৎপর্য পরীক্ষা করা হয়, তবে মিথ্যা ইতিবাচক ফলাফলের (টাইপ I ত্রুটি) সম্ভাবনা বহুগুণ বেড়ে যায় — একে পিকিং সমস্যা বলা হয়। সমাধান: আগে থেকে একটি নির্দিষ্ট টেস্টের সময়কাল এবং নমুনা আকার (পাওয়ার বিশ্লেষণ) নির্ধারণ করুন, পরীক্ষা শেষ না হওয়া পর্যন্ত ফলাফল দেখবেন না, বা অনুক্রমিক টেস্টিং পদ্ধতি ব্যবহার করুন যা একাধিক পরীক্ষার জন্য তাৎপর্য সীমা সামঞ্জস্য করে।

একাধিক তুলনা

যদি একটি পরীক্ষায় একসাথে 10টি মেট্রিক বিশ্লেষণ করা হয়, তবে কমপক্ষে একটি মেট্রিকে মিথ্যা ইতিবাচক ফলাফল পাওয়ার সম্ভাবনা 40% (বাস্তব প্রভাব ছাড়াই)। এটি একাধিক তুলনা সমস্যা। সমাধান: সিদ্ধান্ত নেওয়ার জন্য একটি প্রাথমিক মেট্রিক নির্ধারণ করুন, বাকিগুলিকে মাধ্যমিক (অন্বেষণমূলক) হিসাবে বিবেচনা করুন। যদি একাধিক মেট্রিক বিশ্লেষণ করার প্রয়োজন হয়, বনফেরনি সংশোধন প্রয়োগ করুন বা FDR (মিথ্যা আবিষ্কার হার) নিয়ন্ত্রণ করুন।

সচরাচর জিজ্ঞাসা

A/B টেস্টের জন্য কতজন ব্যবহারকারী প্রয়োজন?

প্রয়োজনীয় নমুনা আকার প্রত্যাশিত প্রভাব এবং মেট্রিক পরিবর্তনশীলতার উপর নির্ভর করে। 10% বর্তমান কনভার্সন হারের সাথে 5% কনভার্সন পরিবর্তন সনাক্ত করতে, প্রতি গ্রুপে প্রায় 25,000 ব্যবহারকারীর প্রয়োজন। 1% পরিবর্তন সনাক্ত করতে, 500,000+ ব্যবহারকারীর প্রয়োজন। ন্যূনতম নমুনা আকার গণনা করতে টেস্ট শুরু করার আগে একটি পাওয়ার বিশ্লেষণ ক্যালকুলেটর ব্যবহার করুন।

A/B টেস্ট কতক্ষণ চলতে হবে?

সর্বনিম্ন সময়কাল 7 দিন ব্যবহারকারীর আচরণের সাপ্তাহিক চক্র বিবেচনায় নিতে। কম ট্রাফিক সহ B2B বা বিশেষায়িত অ্যাপের জন্য, সময়কাল 2-4 সপ্তাহ হতে পারে। পরিকল্পিত শেষ তারিখের আগে টেস্ট বন্ধ করবেন না, এমনকি ফলাফল সুস্পষ্ট মনে হলেও — এটি মিথ্যা ইতিবাচকের প্রধান উৎস।

একসাথে একাধিক A/B টেস্ট চালানো কি সম্ভব?

হ্যাঁ, কিন্তু সাবধানতার সাথে। প্রতিটি টেস্টের স্বাধীন ব্যবহারকারী সেগমেন্ট ব্যবহার করা উচিত, অন্যথায় ফলাফল হস্তক্ষেপ করতে পারে। উদাহরণস্বরূপ, একই দর্শকের উপর বাটনের রঙ এবং বাটনের অবস্থান পরীক্ষা করা ভুল ফলাফল দেবে। পরীক্ষার স্তর (layers) ব্যবহার করুন — প্রতিটি স্তর ব্যবহারকারীদের একটি স্বাধীন নমুনা পায়। অধিকাংশ A/B প্ল্যাটফর্ম স্তরিত পরীক্ষা সমর্থন করে।

A/B টেস্ট ক্যানারি রিলিজ থেকে কীভাবে আলাদা?

A/B টেস্ট দুটি বৈকল্পিকের কার্যকারিতা তুলনা করার জন্য একটি পরীক্ষা, যা প্রশ্নের উত্তর দেয় “কোন বৈকল্পিক ব্যবসার জন্য ভাল।” ক্যানারি রিলিজ একটি নতুন সংস্করণের স্থায়িত্ব যাচাই করার জন্য একটি স্থাপনার কৌশল, যা প্রশ্নের উত্তর দেয় “সেবা কি ভেঙে যাবে।” ক্যানারি ধীরে ধীরে দর্শক সম্প্রসারণ ব্যবহার করে, A/B একটি নির্দিষ্ট 50/50 (বা অন্যান্য) বিভাজন ব্যবহার করে। কখনও কখনও ক্যানারি পরিকাঠামো A/B টেস্টের ভিত্তি হিসাবে ব্যবহৃত হয়।

কোন p-value যথেষ্ট বিবেচিত হয়?

মানক সীমা হল p-value < 0.05, যা 95% আস্থার সাথে মিলে যায়। উচ্চ-ঝুঁকির সিদ্ধান্তের জন্য (যেমন, পেমেন্ট প্রবাহ পরিবর্তন), p-value < 0.01 (99%) সুপারিশ করা হয়। অনুসন্ধানমূলক টেস্টের জন্য, p-value < 0.1 গ্রহণযোগ্য। গুরুত্বপূর্ণ: p-value শুধুমাত্র পরিসংখ্যানগত তাৎপর্য দেখায়, ব্যবহারিক নয় — p < 0.001 হলেও, প্রভাব বাস্তবায়নের জন্য খুব ছোট হতে পারে।

সারাংশ

A/B টেস্টিং — প্রকৃত ব্যবহারকারীদের উপর একটি পণ্যের দুটি সংস্করণ তুলনা করার জন্য র্যান্ডমাইজড পরীক্ষার একটি পদ্ধতি
প্রক্রিয়া হাইপোথিসিস প্রণয়ন, পরীক্ষা নকশা, বাস্তবায়ন, ডেটা সংগ্রহ এবং পরিসংখ্যান বিশ্লেষণ অন্তর্ভুক্ত করে
মাল্টিভেরিয়েট টেস্টিং (MVT) একসাথে একাধিক ভেরিয়েবল পরীক্ষা করার অনুমতি দেয় তবে বড় নমুনা প্রয়োজন
Firebase Remote Config মোবাইল অ্যাপ্লিকেশনে A/B টেস্টিংয়ের প্রাথমিক সরঞ্জাম
মূল ভুল: অকাল টেস্ট বন্ধ করা, একাধিক তুলনা এবং অপর্যাপ্ত নমুনা আকার
ন্যূনতম টেস্ট সময়কাল — 7 দিন, পাওয়ার বিশ্লেষণের মাধ্যমে নমুনা আকার গণনা করা হয়
পরিসংখ্যানগত তাৎপর্য (p < 0.05) একটি প্রয়োজনীয় কিন্তু অপর্যাপ্ত শর্ত: ব্যবহারিক তাৎপর্য বেশি গুরুত্বপূর্ণ

আমরা একটি মোবাইল অ্যাপ্লিকেশন টার্নকি তৈরি করব

IT Sectr 2017 সাল থেকে স্টার্টআপ এবং ব্যবসার জন্য iOS এবং Android অ্যাপ্লিকেশন তৈরি করে। আমরা আপনাকে পরামর্শ দেব এবং সেরা সমাধান প্রস্তাব করব।

প্রকল্প নিয়ে আলোচনা করুন