Data Migration — সারমর্ম, পদ্ধতি এবং ডেটা স্থানান্তর প্রক্রিয়া

Data Migration কী

Data Migration হল একটি উৎস থেকে অন্য উৎসে ডেটা স্থানান্তরের প্রক্রিয়া যা সমাপ্তির পরে তার অখণ্ডতা, সঙ্গতি এবং উপলভ্যতা নিশ্চিত করে। সাধারণ কপির বিপরীতে, মাইগ্রেশনে ফরম্যাট রূপান্তর, ডুপ্লিকেট অপসারণ, রেফারেন্সিয়াল ইন্টিগ্রিটি চেক এবং ফলাফল বৈধকরণ অন্তর্ভুক্ত।

DBMS আপগ্রেড (যেমন, MySQL 5.7 থেকে MySQL 8.0), ক্লাউড প্রদানকারী পরিবর্তন, মনোলিথ থেকে মাইক্রোসার্ভিসে মাইগ্রেশন বা NoSQL স্কিমায় স্যুইচ করার সময় Data Migration-এর প্রয়োজন দেখা দেয়। Stripe (2024)-এর মতে, 89% কোম্পানি প্রতি দুই বছরে অন্তত একবার ডেটা মাইগ্রেশনের সম্মুখীন হয় এবং 43% এটিকে প্রযুক্তিগত আপডেটের সবচেয়ে চ্যালেঞ্জিং ধাপ হিসেবে স্বীকার করে।

ডেটা মাইগ্রেশনের প্রধান লক্ষ্য

প্রথম লক্ষ্য হল আরও আধুনিক স্টোরেজ সমাধানে গিয়ে কর্মক্ষমতা উন্নত করা। দ্বিতীয়টি হল পরিকাঠামো প্রদানকারী পরিবর্তন করার সময় পরিচালন ব্যয় কমানো। তৃতীয়টি হল নিয়ন্ত্রক প্রয়োজনীয়তা (GDPR, 152-FZ) মেনে চলা নিশ্চিত করা, যখন ডেটা একটি নির্দিষ্ট এখতিয়ারে সংরক্ষণ করতে হবে।

কিভাবে মাইগ্রেশন ইন্টিগ্রেশন থেকে আলাদা

ইন্টিগ্রেশন দুটি চলমান সিস্টেমের মধ্যে ধারাবাহিক সিঙ্ক্রোনাইজেশন জড়িত। মাইগ্রেশন হল এককালীন স্থানান্তর যার পরে উৎস বন্ধ করা হয়। ইন্টিগ্রেশন উৎসে ডেটা মুছে ফেলে না, মাইগ্রেশন লক্ষ্য সিস্টেমকে প্রাথমিক অবস্থায় স্থানান্তর করে শেষ হয়। এই মৌলিক পার্থক্য সরঞ্জাম এবং বৈধকরণ পদ্ধতির পছন্দ নির্ধারণ করে।

ডেটা মাইগ্রেশনের ETL মডেল

যেকোনো Data Migration-এর মৌলিক আর্কিটেকচার ETL মডেলের (এক্সট্র্যাক্ট, ট্রান্সফর্ম, লোড) উপর নির্মিত। এক্সট্র্যাক্ট — উৎস থেকে ডেটা আহরণ। ট্রান্সফর্ম — লক্ষ্য স্কিমায় রূপান্তর। লোড — গন্তব্যে লোড করা। প্রতিটি পর্যায়ের নিজস্ব গুণমান নিয়ন্ত্রণ পদ্ধতি রয়েছে।

এক্সট্র্যাক্ট: ডেটা আহরণ

আহরণ পর্যায়ে, ডেটা উৎস ডাটাবেস, ফাইল স্টোরেজ বা API থেকে পড়া হয়। বর্ধিত আহরণ (CDC — Change Data Capture) শুধুমাত্র পরিবর্তিত রেকর্ড স্থানান্তর করতে দেয়, ট্রাফিক ভলিউম হ্রাস করে। সম্পূর্ণ ডাম্প ছোট ভলিউমের জন্য উপযুক্ত, তবে টেরাবাইট আকারের ডাটাবেসের জন্য Debezium বা Kafka Connect-এর মাধ্যমে স্ট্রিমিং প্রতিলিপি পছন্দনীয়।

ট্রান্সফর্ম: স্কিমা রূপান্তর

রূপান্তরের মধ্যে কলামের নাম পরিবর্তন, ডেটা টাইপ পরিবর্তন, মান স্বাভাবিককরণ এবং একত্রিতকরণ অন্তর্ভুক্ত। উদাহরণস্বরূপ, MySQL থেকে PostgreSQL-এ মাইগ্রেট করার সময়, সংখ্যাসূচক টাইপ DECIMAL কে NUMERIC-এ এবং তারিখ ফরম্যাট ISO 8601-এ রূপান্তর করতে হবে। Talend (2024)-এর মতে, 70% মাইগ্রেশন সময় স্থানান্তরে নয়, রূপান্তরে ব্যয় হয়।

লোড: গন্তব্যে লোড করা

লোডিং ব্যাচে (batch insert) বা স্ট্রিমিং-এ সম্পাদিত হয়। ডুপ্লিকেট দূর করতে আইডেম্পোটেন্সি কী ব্যবহার করা হয়। লোডিংয়ের পরে, বৈধকরণ ধাপ বাধ্যতামূলক: রেকর্ড সংখ্যা তুলনা, চেকসাম গণনা এবং ব্যবসায়িক নিয়ম পরীক্ষা। বৈধকরণ ছাড়া, Data Migration অসম্পূর্ণ বিবেচিত হয়।

ডেটা মাইগ্রেশন কৌশল

Data Migration কৌশলের পছন্দ সিস্টেম ডাউনটাইম, রোলব্যাক জটিলতা এবং প্রস্তুতিমূলক কাজের পরিমাণ নির্ধারণ করে। প্রধান কৌশলগুলি হল Big Bang, Trickle এবং Parallel Run। প্রতিটি বিভিন্ন পরিস্থিতিতে প্রযোজ্য।

Big Bang মাইগ্রেশন

Big Bang হল পুরানো সিস্টেম একবার বন্ধ করা, ডেটা স্থানান্তর এবং নতুন চালু করা। ছোট ভলিউম এবং সাধারণ স্কিমার জন্য উপযুক্ত। ঝুঁকি: ব্যর্থতার ক্ষেত্রে, ব্যাকআপ থেকে সম্পূর্ণ পুনরুদ্ধার না হওয়া পর্যন্ত সিস্টেম অনুপলব্ধ থাকে। 2024 সালে, GitLab 14 ঘন্টার ডাউনটাইম উইন্ডো সহ AWS RDS থেকে GCP Cloud SQL-এ 5 TB ডেটা মাইগ্রেট করতে Big Bang ব্যবহার করেছিল।

Trickle মাইগ্রেশন

Trickle হল ছোট অংশে স্ট্রিমিং সিঙ্ক্রোনাইজেশন। পুরানো এবং নতুন সিস্টেম সমান্তরালভাবে চলে, পরিবর্তনগুলি রিয়েল-টাইমে প্রতিলিপিকৃত হয়। ডেটা স্থিতিশীলতার পরে, পুরানো উৎস বন্ধ করা হয়। এই পদ্ধতির জন্য দ্বিমুখী সিঙ্ক্রোনাইজেশন এবং দ্বন্দ্ব সমাধান প্রয়োজন। এটি ডাউনটাইম ছাড়াই ডাটাবেস স্কিমা আপডেট করার সময় Continuous Delivery-তে ব্যবহৃত হয়।

Parallel Run

Parallel Run — উভয় সিস্টেম একসাথে কাজ করে, অ্যাপ্লিকেশন উভয় উৎস থেকে লেখে এবং পড়ে। গন্তব্যে ডেটা যাচাইয়ের পরে, পুরানো উৎস বন্ধ করা হয়। এটি সবচেয়ে নিরাপদ কৌশল, তবে সবচেয়ে ব্যয়বহুলও — দুটি পরিকাঠামো রক্ষণাবেক্ষণ প্রয়োজন। এটি গুরুত্বপূর্ণ আর্থিক সিস্টেম মাইগ্রেট করার সময় ব্যবহৃত হয়।

ডেটা মাইগ্রেশনের প্রকার

অ্যাপ্লিকেশন ডেভেলপমেন্টে, স্থানান্তর বস্তু এবং প্রসঙ্গের উপর ভিত্তি করে বিভিন্ন ধরনের Data Migration পার্থক্য করা হয়। প্রতিটি প্রকারের নিজস্ব পদ্ধতি এবং সরঞ্জাম রয়েছে। প্রকার বোঝা সঠিক কৌশল বেছে নেওয়ার প্রথম ধাপ।

ডাটাবেস মাইগ্রেশন (Database Migration)

Database Migration হল বিভিন্ন বিক্রেতার DBMS-এর মধ্যে স্থানান্তর: Oracle থেকে PostgreSQL, SQL Server থেকে MySQL, MongoDB থেকে DynamoDB। জটিলতা অসঙ্গত ডেটা টাইপ, SQL উপভাষা এবং ইনডেক্সিং প্রক্রিয়ার মধ্যে নিহিত। সরঞ্জাম: AWS DMS, Debezium, Liquibase।

অ্যাপ্লিকেশন ডেটা মাইগ্রেশন (Application Data Migration)

একই অ্যাপ্লিকেশনের বিভিন্ন সংস্করণের মধ্যে ডেটা স্থানান্তর — উদাহরণস্বরূপ, এন্টিটি কাঠামোতে পরিবর্তন সহ কোড আপডেট করার সময়। প্রায়শই অ্যাপ্লিকেশন ভাষায় মাইগ্রেশন স্ক্রিপ্ট চালানোর সাথে থাকে: Ruby on Rails-এ Active Record Migrations, Java-র জন্য Flyway, .NET-এ Entity Framework Migrations। এই স্ক্রিপ্টগুলি ক্রমিকভাবে স্কিমা এবং ডেটা রূপান্তর করে।

ক্লাউড ডেটা মাইগ্রেশন (Cloud Data Migration)

Cloud Data Migration হল অন-প্রিমাইস পরিকাঠামো থেকে ক্লাউড বা ক্লাউডের মধ্যে ডেটা স্থানান্তর। AWS Snowball, Azure Data Box এবং Google Transfer Appliance টেরাবাইট আকারের ডেটার শারীরিক পরিবহনের জন্য ব্যবহৃত হয়। অনলাইন মাইগ্রেশনের জন্য VPN টানেল এবং প্রতিলিপি ব্যবহার করা হয়। Gartner-এর মতে, 2027 সালের মধ্যে 70% মাইগ্রেশন হাইব্রিড ক্লাউড পরিবেশে সম্পাদিত হবে।

ডেটা মাইগ্রেশন পরিকল্পনা

পরিকল্পনা ছাড়া Data Migration নিশ্চিত ব্যর্থতা। পরিকল্পনার মধ্যে বর্তমান স্কিমা অডিট, ডেটা প্রোফাইলিং, কৌশল নির্বাচন, পরিবেশ প্রস্তুতি, পরীক্ষা এবং রোলব্যাক পরিকল্পনা অনুমোদন অন্তর্ভুক্ত। McKinsey গবেষণা (2024) অনুসারে, 54% ব্যর্থ মাইগ্রেশন আনুষ্ঠানিক পরিকল্পনার অনুপস্থিতির কারণে ঘটে।

অডিট এবং প্রোফাইলিং

মাইগ্রেশনের আগে, উৎস সিস্টেমের অডিট করা প্রয়োজন: ডেটা ভলিউম, টেবিলের সংখ্যা, এন্টিটির মধ্যে নির্ভরতা, নালেবল ফিল্ডের প্রকার এবং ডুপ্লিকেটের উপস্থিতি নির্ধারণ। প্রোফাইলিং অসঙ্গতি — মূল ফিল্ডে NULL মান, ফরম্যাট অমিল, ভাঙা লিঙ্ক — চিহ্নিত করে। এই ডেটা সম্পূর্ণ ডাম্পের বেসলাইন গঠন করে।

পরীক্ষার পরিবেশ প্রস্তুতি

মূল লঞ্চের আগে উৎপাদন ডেটার কপিতে একটি পরীক্ষা মাইগ্রেশন সম্পাদিত হয়। লক্ষ্য হল ETL পাইপলাইন কর্মক্ষমতা, রূপান্তর নির্ভুলতা এবং লোডিং গতি পরীক্ষা করা। Big Bang-এর আগে ন্যূনতম তিনটি পূর্ণ পরীক্ষা চক্র সুপারিশ করা হয়। প্রতিটি চক্রে পূর্ণ স্থানান্তর, বৈধকরণ এবং রোলব্যাক অন্তর্ভুক্ত।

রোলব্যাক পরিকল্পনা

রোলব্যাক হল গুরুতর ত্রুটি সনাক্ত হলে মূল সিস্টেমে ফিরে যাওয়া। রোলব্যাক পরিকল্পনার মধ্যে অন্তর্ভুক্ত: শুরুর আগে উৎসের সম্পূর্ণ ব্যাকআপ, স্কিমা পুনরুদ্ধার স্ক্রিপ্ট, পুরানো সিস্টেম পুনরায় সক্রিয় করার জন্য ধাপে ধাপে নির্দেশনা এবং ব্যবহারকারী বিজ্ঞপ্তির জন্য যোগাযোগ পরিকল্পনা। অনুমোদিত রোলব্যাক পরিকল্পনা ছাড়া, Data Migration উৎপাদনে চালু করা উচিত নয়।

ডেটা মাইগ্রেশন কোড উদাহরণ

Flyway-এর সাথে Kotlin-এ একটি ব্যবহারিক Data Migration উদাহরণ বিবেচনা করুন। মাইগ্রেশন স্ক্রিপ্ট V1 একটি ব্যবহারকারী টেবিল তৈরি করে এবং লিগ্যাসি ফরম্যাট থেকে ডেটা স্থানান্তর করে। Flyway স্বয়ংক্রিয়ভাবে প্রয়োগ করা মাইগ্রেশন ট্র্যাক করে এবং আইডেম্পোটেন্সি নিশ্চিত করে।

// V1__Migrate_Users.kt — লিগ্যাসি ফরম্যাট থেকে ডেটা মাইগ্রেশন
import org.flywaydb.core.api.migration.BaseJavaMigration
import java.sql.Connection
import java.sql.PreparedStatement

class V1__MigrateUsers : BaseJavaMigration() {
    override fun migrate(connection: Connection) {
        val legacyUsers = connection.prepareStatement(
            "SELECT id, name, legacy_role FROM users_legacy"
        ).executeQuery()

        val insertStmt: PreparedStatement = connection.prepareStatement(
            "INSERT INTO users (id, name, role, migrated_at) VALUES (?, ?, ?, NOW())"
        )

        while (legacyUsers.next()) {
            insertStmt.setInt(1, legacyUsers.getInt("id"))
            insertStmt.setString(2, legacyUsers.getString("name"))
            val role = mapLegacyRole(legacyUsers.getString("legacy_role"))
            insertStmt.setString(3, role)
            insertStmt.executeUpdate()
        }
    }
}

CSV থেকে PostgreSQL-এ ডেটা স্থানান্তরের জন্য SQLAlchemy ব্যবহার করে Python-এ একটি মাইগ্রেশন উদাহরণ। স্ক্রিপ্ট ফাইল থেকে আহরণ করে, টাইপ রূপান্তর করে এবং লক্ষ্য টেবিল লোড করে।

# migrate_data.py — রূপান্তরসহ CSV PostgreSQL-এ লোড করা হচ্ছে
import pandas as pd
from sqlalchemy import create_engine

engine = create_engine("postgresql://user:pass@host/db")
df = pd.read_csv("legacy_orders.csv")

df["order_date"] = pd.to_datetime(df["order_date"])
df["amount"] = df["amount"].astype("float")
df.to_sql("orders", engine, if_exists="append", index=False)

print("ডেটা মাইগ্রেশন সম্পূর্ণ")