অ্যাপ্লিকেশনে Face Detection: এটি কী, পদ্ধতি এবং লাইব্রেরি

Face Detection কী: নীতি এবং অ্যালগরিদম

Face Detection একটি কম্পিউটার ভিশন কাজ যা ছবিতে মানুষের মুখের উপস্থিতি এবং অবস্থান শনাক্ত করে। অ্যালগরিদম একটি bounding box (মুখের চারপাশে আয়তক্ষেত্র) এবং confidence score (মুখ হওয়ার সম্ভাবনা) ফেরত দেয়। আধুনিক অ্যালগরিদম facial landmarks-ও ফেরত দেয় — মূল পয়েন্ট (চোখ, ভ্রু, নাক, মুখ, মুখের কনট্যুর)। Face Detection অনেক ML কাজের জন্য প্রথম ধাপ: ব্যক্তি শনাক্তকরণ, AR ফিল্টার, মনোযোগ বিশ্লেষণ।

অ্যালগরিদমের ইতিহাস Viola-Jones (2001) দিয়ে শুরু হয়েছিল — CPU-তে Haar-সদৃশ বৈশিষ্ট্যের ক্যাসকেড। 2010-এর দশকে HOG + SVM (Histogram of Oriented Gradients) প্রভাবশালী ছিল। 2016 সাল থেকে, সমস্ত আধুনিক অ্যালগরিদম কনভোলিউশনাল নিউরাল নেটওয়ার্ক (CNN) ভিত্তিক: MTCNN, RetinaFace, SSH, MobileNet-SSD, YOLO-Face। GPU-তে CNN অ্যালগরিদম 95–99% নির্ভুলতা দেয়, যেখানে ক্লাসিক পদ্ধতি 85–90% দেয়। WiderFace বেঞ্চমার্ক (2025) অনুসারে, RetinaFace সবচেয়ে কঠিন সাবসেটে 96.3% mAP অর্জন করে।

MTCNN (Multi-Task Cascaded CNN) একটি ক্লাসিক তিন-স্তরের ডিটেক্টর: P-Net (প্রস্তাব নেটওয়ার্ক) প্রার্থী খুঁজে পায়, R-Net (রিফাইন নেটওয়ার্ক) তাদের ফিল্টার করে, O-Net (আউটপুট নেটওয়ার্ক) bounding box পরিমার্জিত করে এবং landmarks আউটপুট করে। MTCNN 640x480 রেজোলিউশনে প্রতি ফ্রেমে 30–50 মি.সে. CPU-তে কাজ করে। মোবাইল ডিভাইসের জন্য, MTCNN GPU ছাড়াই গতি এবং নির্ভুলতার সর্বোত্তম ভারসাম্য প্রদান করে।

রিয়েল-টাইম Face Detection ভিডিওর জন্য 30+ FPS প্রয়োজন। এটি NPU (নিউরাল প্রসেসিং ইউনিট) — Qualcomm Hexagon, Apple Neural Engine, MediaTek APU-র কারণে আধুনিক স্মার্টফোনে অর্জনযোগ্য। NPU 50–100 মি.ওয়াট পাওয়ার খরচে 2–5 মি.সে.-তে শনাক্তকরণ করে, যেখানে GPU 500–2000 মি.ওয়াট খরচ করে। সর্বদা-চালু শনাক্তকরণের জন্য (ক্যামেরা সবসময় সক্রিয়), ডিভাইস গরম না হয়ে NPU-ই একমাত্র ব্যবহারিক বিকল্প।

Android এবং iOS-এ ML Kit Face Detection

ML Kit Face Detection মোবাইল ডিভাইসে মুখ শনাক্তকরণের জন্য সবচেয়ে জনপ্রিয় SDK। ML Kit দুটি মোড অফার করে: contour mode (সঠিক মাস্ক ওভারলের জন্য 468টি মুখের কনট্যুর পয়েন্ট) এবং classification mode (আবেগ শনাক্তকরণ: হাসি, খোলা চোখ, খোলা মুখ)। মোডগুলি FaceDetectorOptions-এ একত্রিত হয়। ML Kit NNAPI/GPU Delegate-এর মাধ্যমে অপ্টিমাইজেশনসহ Google-এর MobileNetV2-SSD নিউরাল নেটওয়ার্ক ব্যবহার করে।

ML Kit Face Detection কনফিগারেশন: setPerformanceMode(FACE_DETECTION_FAST / ACCURATE), setLandmarkMode (মূল পয়েন্ট), setContourMode (কনট্যুর পয়েন্ট), setClassificationMode (আবেগ)। সর্বোচ্চ গতির জন্য FAST + LANDMARKS_ONLY + কনট্যুর ছাড়া ব্যবহার করুন। AR ফিল্টারের জন্য — ACCURATE + ALL_CONTOURS। Google (2025) অনুসারে, FAST মোড 5 মি.সে.-তে 98% নির্ভুলতা দেয়, ACCURATE — 15 মি.সে.-তে 99%।

// ML Kit Face Detection with contours
val options = FaceDetectorOptions.Builder()
    .setContourMode(FaceDetectorOptions.ContourMode.ALL)
    .setClassificationMode(FaceDetectorOptions.ClassificationMode.ALL)
    .setPerformanceMode(FaceDetectorOptions.PerformanceMode.FAST)
    .enableTracking()
    .build()
val detector = FaceDetection.getClient(options)

detector.process(inputImage)
    .addOnSuccessListener { faces ->
        faces.forEach { face ->
            val trackingId = face.trackingId
            val smile = face.smilingProbability
            val leftEyeOpen = face.leftEyeOpenProbability
        }
    }

ML Kit-এ Face Tracking — ভিডিও স্ট্রিমের জন্য একটি অনন্য বৈশিষ্ট্য। প্রতিটি শনাক্ত মুখকে একটি tracking ID (পূর্ণসংখ্যা) বরাদ্দ করা হয় যা ফ্রেমের মধ্যে টিকে থাকে। এটি পুনরায় শনাক্তকরণ ছাড়াই একটি নির্দিষ্ট মুখের সাথে AR অবজেক্ট সংযুক্ত করতে দেয়। ট্র্যাকার Optical Flow ব্যবহার করে এবং আংশিক মুখ আবরণের পরেও ID ধরে রাখে। যখন মুখ 1 সেকেন্ডের বেশি সময় ধরে ফ্রেমের বাইরে চলে যায়, Tracking ID রিসেট হয়।

Apple Vision Framework: VNDetectFaceRectanglesRequest

Apple Vision Framework iOS-এর জন্য একটি নেটিভ ফ্রেমওয়ার্ক যা Apple Neural Engine-এ Core ML-এর মাধ্যমে Face Detection-এর জন্য কাজ করে। Vision প্রদান করে: VNDetectFaceRectanglesRequest (শুধু bounding box) এবং VNDetectFaceLandmarksRequest (কনট্যুর পয়েন্টসহ)। Vision Framework iOS 11 থেকে iOS-এ নির্মিত এবং অতিরিক্ত SDK প্রয়োজন হয় না — এটি Foundation-এর অংশ।

Vision Framework-এর সুবিধা: তৃতীয়-পক্ষের লাইব্রেরির উপর শূন্য নির্ভরতা, A12+ চিপে Apple Neural Engine (ANE)-এর মাধ্যমে কাজ করে, exifOrientation-এর মাধ্যমে স্বয়ংক্রিয় ছবি ওরিয়েন্টেশন হ্যান্ডলিং, গতি/নির্ভুলতা টিউনিংয়ের জন্য CIDetectorAccuracy সমর্থন। Vision VNFaceObservation bounding box (সাধারণীকৃত স্থানাঙ্ক 0..1) এবং landmarks (VNFaceLandmarkRegion2D) সহ ফেরত দেয়।

iOS-এ Vision বনাম ML Kit: Vision পুরনো ডিভাইসে (A12–A15) দ্রুততর কারণ এটি নেটিভ Apple নিউরাল ইঞ্জিন ব্যবহার করে। ML Kit Google মডেল ব্যবহার করে এবং জটিল কোণে (প্রোফাইল, তীব্র কাত) বেশি নির্ভুল হতে পারে। সাধারণ শনাক্তকরণের জন্য (ক্যামেরা, ছবি) — Vision ব্যবহার করুন। AR ফিল্টার এবং কনট্যুর মাস্কের জন্য — ML Kit ব্যবহার করুন (Vision-এ 76 পয়েন্টের তুলনায় 468 পয়েন্ট)।

import Vision

let request = VNDetectFaceRectanglesRequest { request, error in
    guard let observations = request.results as? [VNFaceObservation] else { return }
    for face in observations {
        let rect = face.boundingBox // normalized 0..1
        let confidence = face.confidence
    }
}

let handler = VNImageRequestHandler(
    cgImage: cgImage, orientation: .up, options: [:]
)
try handler.perform([request])

VNDetectFaceLandmarksRequest মূল পয়েন্টের জন্য বর্ধিত সংস্করণ। প্রতিটি পয়েন্ট গ্রুপের জন্য VNFaceLandmarkRegion2D ফেরত দেয়: leftEye, rightEye, nose, faceContour, innerLips, outerLips। প্রতিটি গ্রুপ CGPoint (সাধারণীকৃত) এর একটি অ্যারে। Vision ML Kit-এর মতো 468 পয়েন্ট ফেরত দেয় না — শুধু 76টি মূল পয়েন্ট। সঠিক মুখোশের জন্য, ML Kit পছন্দনীয়; মৌলিক শনাক্তকরণের জন্য, Vision যথেষ্ট।

OpenCV Haar Cascade: ক্লাসিক পদ্ধতি

OpenCV Haar Cascade Haar-সদৃশ বৈশিষ্ট্যের ক্যাসকেড (Viola-Jones, 2001) ভিত্তিক একটি ক্লাসিক Face Detection অ্যালগরিদম। বয়স সত্ত্বেও, Haar Cascade এখনও সীমিত সম্পদের প্রকল্পে ব্যবহৃত হয়: Raspberry Pi, IoT ডিভাইস, এমবেডেড সিস্টেম। অ্যালগরিদমের GPU বা NPU প্রয়োজন হয় না — এটি VGA-রেজোলিউশন ফ্রেমে প্রতি ফ্রেমে 5–15 মি.সে.-তে যেকোনো CPU-তে কাজ করে।

LBP Cascade (Local Binary Patterns) OpenCV-তে Haar Cascade-এর একটি বিকল্প। LBP দ্রুততর (2–5 মি.সে.) এবং আলোর প্রতি কম সংবেদনশীল, কিন্তু বেশি মিথ্যা পজিটিভ উৎপন্ন করে। Haar বেশি নির্ভুল (85–90% বনাম LBP-এর 80–85%), কিন্তু ঝলক এবং ছায়ার প্রতি সংবেদনশীল। মোবাইল অ্যাপের জন্য, OpenCV Face Detection নির্ভুলতায় নিউরাল নেটওয়ার্ক পদ্ধতির থেকে নিকৃষ্ট, কিন্তু সামঞ্জস্যে জয়ী — এটি যেকোনো ডিভাইসে কাজ করে।

// OpenCV Face Detection via CascadeClassifier
val cascadeFile = File(context.filesDir, "haarcascade_frontalface_default.xml")
val faceDetector = CascadeClassifier(cascadeFile.absolutePath)

val gray = Mat()
Imgproc.cvtColor(colorFrame, gray, Imgproc.COLOR_RGBA2GRAY)
val faces = MatOfRect()
faceDetector.detectMultiScale(gray, faces)

faces.toList().forEach { rect ->
    // rect = face bounding box
}

OpenCV-এর সীমাবদ্ধতা: উচ্চ মিথ্যা পজিটিভ হার (15% পর্যন্ত), প্রোফাইল কোণে দুর্বল কর্মক্ষমতা (>30° — নির্ভুলতা 50% এ নেমে যায়), অতিরিক্ত মডেল ছাড়া landmarks নেই, ফ্রেমের মধ্যে কোনো ট্র্যাকিং নেই। আধুনিক মোবাইল অ্যাপের জন্য, OpenCV Face Detection Google Play Services (Huawei, Amazon Fire) ছাড়া ডিভাইসের জন্য ফallback হিসাবে কাজ করে। প্রধান পরিস্থিতিতে — ML Kit বা Vision ব্যবহার করুন।

Face Detection বনাম Face Recognition: পার্থক্য

Face Detection — ছবিতে মুখের উপস্থিতি এবং অবস্থান নির্ধারণ। ফলাফল: bounding box এবং মূল পয়েন্ট। Face Recognition — তার মুখের মাধ্যমে একজন ব্যক্তিকে শনাক্ত করা: এই মুখটি নির্দিষ্ট ব্যক্তির কিনা তা নির্ধারণ করা। Face Recognition embeddings (মুখের প্রতিনিধিত্বকারী সংখ্যার ভেক্টর) ব্যবহার করে এবং পরিচিত মুখের ডাটাবেসের সাথে তুলনা করে। Face Recognition-এর জন্য Face Detection একটি বাধ্যতামূলক প্রথম ধাপ।

Face Recognition প্রযুক্তি: FaceNet (Google, 2015) — 128–512 float-মান embeddings প্রশিক্ষণের জন্য triplet loss, ArcFace (2019) — additive angular margin loss, সেরা নির্ভুলতা (LFW-তে 99.83%)। মোবাইল অ্যাপের জন্য, Face Recognition-এর জন্য একটি কাস্টম TFLite মডেল প্রয়োজন — ML Kit ব্যক্তি শনাক্তকরণের জন্য প্রস্তুত API প্রদান করে না (শুধু শনাক্তকরণ)।

মোবাইল ডিভাইসে গোপনীয়তা: Face Detection নিরাপদ — এটি ব্যবহারকারীর ডেটা সংরক্ষণ করে না। Face Recognition-এর তুলনার জন্য embeddings বা ছবি সংরক্ষণের প্রয়োজন হয়। Apple-এর Face Recognition-এর জন্য স্পষ্ট ব্যবহারকারী সম্মতি প্রয়োজন এবং বিজ্ঞাপনের জন্য এর ব্যবহার নিষিদ্ধ। Google ML Kit ইচ্ছাকৃতভাবে Face Recognition অন্তর্ভুক্ত করে না গোপনীয়তা ঝুঁকি এড়াতে। শনাক্তকরণ ছাড়া ডিটেকশনের জন্য — কোনো বিধিনিষেধ নেই।

Face Liveness Detection — মুখ বাস্তব কিনা তা নিশ্চিত করার জন্য একটি অতিরিক্ত পরীক্ষা (ছবি/ভিডিও নয়)। চোখের গতি বিশ্লেষণ (blink detection), মাইক্রো-অভিব্যক্তি, ডেপথ ম্যাপ (3D ক্যামেরা) ব্যবহার করে। ব্যাংকিং এবং পেমেন্ট অ্যাপ্লিকেশনের জন্য Liveness Detection বাধ্যতামূলক। ML Kit-এ অন্তর্নির্মিত liveness নেই — যাচাইয়ের জন্য কাস্টম মডেল বা Google Play Integrity API ব্যবহার করুন।

মোবাইল অ্যাপে Face Detection-এর ব্যবহার

AR ফিল্টার এবং মাস্ক — Face Detection-এর সবচেয়ে জনপ্রিয় ব্যবহার। মুখের কনট্যুর পয়েন্টের (468 পয়েন্ট) উপর ভিত্তি করে, 3D মাস্ক, টুপি, চশমা, গোঁফ ওভারলে করা হয়। ML Kit Face Detection + SceneKit (iOS) বা Filament (Android) রিয়েল-টাইম AR অভিজ্ঞতা তৈরি করে। Snapchat এবং Instagram MobileNet + MTCNN ভিত্তিক তাদের নিজস্ব ডিটেক্টর ব্যবহার করে। কাস্টম AR ফিল্টারের জন্য, ML Kit এবং একটি 3D ইঞ্জিন যথেষ্ট।

ফটো এডিটর এবং রিটাচিং — Face Detection স্বয়ংক্রিয় সংশোধনের জন্য মুখের এলাকা চিহ্নিত করে: ত্বকের রঙের ভারসাম্য, ত্রুটি অপসারণ, চোখ এবং দাঁতের উন্নতি। OpenCV + ML Kit Face Detection Selective Gaussian Blur (ত্বক মসৃণকরণ) এবং চোখের কনট্রাস্টের জন্য স্থানাঙ্ক প্রদান করে। বাস্তব অ্যাপ্লিকেশন — Facetune, BeautyPlus, YouCam Makeup।

মনোযোগ পর্যবেক্ষণ — দৃষ্টির দিক নির্ধারণ (gaze detection)। Face Detection bounding box এবং চোখের landmarks ফেরত দেয়। চোখের সাপেক্ষে পিউপিলের অবস্থান নির্ধারণ করে ব্যবহারকারী কোথায় দেখছে: স্ক্রিনে, বামে, ডানে, উপরে। ই-লার্নিং (শিক্ষার্থী বক্তৃতা দেখছে কিনা পর্যবেক্ষণ), বিজ্ঞাপন (মনোযোগ মেট্রিক্স), ড্রাইভার সহায়তা (ক্লান্তি পর্যবেক্ষণ)-এ ব্যবহৃত হয়।

// ARKit + Vision for AR filter
let faceLandmarksRequest = VNDetectFaceLandmarksRequest { req, _ in
    guard let face = req.results?.first as? VNFaceObservation else { return }
    if let leftEye = face.landmarks?.leftEye {
        // AR object overlay on left eye
    }
}

let handler = VNSequenceRequestHandler()
for pixelBuffer in videoStream {
    try handler.perform([faceLandmarksRequest], on: pixelBuffer)
}

চিকিৎসা এবং সুস্থতা — Face Detection মুখের অসমতা বিশ্লেষণ (স্নায়বিক ব্যাধি নির্ণয়), ত্বকের মাইক্রো-কম্পন থেকে নাড়ি অনুমান (ক্যামেরার মাধ্যমে ফটোপ্লেথিসমোগ্রাফি), ত্বকের আর্দ্রতা নির্ধারণের জন্য ব্যবহৃত হয়। ML Kit Face Detection + OpenCV চিকিৎসা প্রত্যয়ন ছাড়াই প্রাথমিক স্ক্রিনিংয়ের জন্য যথেষ্ট নির্ভুলতা প্রদান করে। উৎপাদন চিকিৎসার জন্য, FDA/CE প্রত্যয়ন প্রয়োজন।