CoreImage: ফিল্টার এবং ইমেজ প্রসেসিং

CoreImage কী

CoreImage হলো রাস্টার ইমেজ এবং ভিডিও প্রসেসিংয়ের জন্য Apple ফ্রেমওয়ার্ক, প্রথম macOS 10.4 Tiger-এ প্রবর্তিত এবং iOS 5.0-তে পোর্ট করা হয়েছে। Core Graphics বা UIKit-এর বিপরীতে, CoreImage পিক্সেল শেডার স্তরে কাজ করে, সমান্তরাল গণনার জন্য GPU ব্যবহার করে। এটি জটিল ইফেক্ট — ব্লার, কালার কারেকশন, মরফিং — মেগাপিক্সেল রেজোলিউশনের ছবিতে মিলিসেকেন্ডে প্রয়োগ করতে সক্ষম করে।

CoreImage আর্কিটেকচার অলস মূল্যায়নের (lazy evaluation) ধারণার উপর নির্মিত: CIFilter CIContext-এ রেন্ডার না হওয়া পর্যন্ত প্রসেসিং সম্পাদন করে না। ডেভেলপার একাধিক CIFilter-এর একটি চেইন তৈরি করে, একটি ফিল্টারের আউটপুট অন্যটির ইনপুটে সংযুক্ত করে, এবং শুধুমাত্র render কল সম্পূর্ণ GPU পাইপলাইন শুরু করে। এটি গ্রাফিক্স কার্ডের মাধ্যমে পাসের সংখ্যা হ্রাস করে এবং কর্মক্ষমতা বজায় রাখে।

CoreImage প্রশস্ত কালার গ্যামুট (P3, sRGB, লিনিয়ার sRGB), HDR ইমেজ এবং ১৬-বিট ও ৩২-বিট পিক্সেল ফরম্যাটে কাজ সমর্থন করে। Neural Engine সমৃদ্ধ ডিভাইসে, CoreImage বুদ্ধিমান প্রসেসিংয়ের জন্য GPU শেডারকে Core ML-এর সাথে একত্রিত করতে পারে — যেমন, মেশিন লার্নিং-ভিত্তিক স্বয়ংক্রিয় কালার কারেকশন, যা iOS 17-এর ফটো অ্যাপে বাস্তবায়িত।

CoreImage আর্কিটেকচার: CIImage, CIFilter, CIContext

তিনটি প্রধান ক্লাস CoreImage-এর মূল গঠন করে: CIImage (ডেটা), CIFilter (অপারেশন) এবং CIContext (এক্সিকিউশন এনভায়রনমেন্ট)। প্রতিটি ক্লাস তার নিজস্ব পাইপলাইন পর্যায়ের জন্য দায়ী এবং দায়িত্ব মিশ্রিত করে না।

CIImage — অপরিবর্তনীয় উৎস

CIImage একটি হালকা অবজেক্ট যা একটি ছবি বর্ণনা করে কিন্তু সরাসরি পিক্সেল ডেটা ধারণ করে না। এটি UIImage, CGImage, Metal টেক্সচার, GL টেক্সচার বা ডিস্কের ফাইল থেকে তৈরি করা যেতে পারে। CIImage অপরিবর্তনীয় — যেকোনো ফিল্টার প্রয়োগ মূলটি পরিবর্তন না করেই একটি নতুন CIImage তৈরি করে। এটি ধাপগুলোর মধ্যে ডেটা কপি না করেই রূপান্তর চেইন তৈরি করতে সক্ষম করে।

একটি গুরুত্বপূর্ণ বৈশিষ্ট্য: CIImage রেন্ডারিং পর্যন্ত স্ক্রিন রেজোলিউশন বা কালার স্পেসের সাথে আবদ্ধ নয়। একই CIImage-কে স্ক্রিনের জন্য UIImage এবং ভিন্ন প্যারামিটার সহ প্রিন্টিংয়ের জন্য TIFF ফাইলে রেন্ডার করা যেতে পারে — CoreImage স্বয়ংক্রিয়ভাবে লক্ষ্য প্রসঙ্গের সাথে প্রসেসিং খাপ খাইয়ে নেয়।

CIFilter — প্রসেসিং অপারেশন

CIFilter ইফেক্ট প্রয়োগের প্রধান ক্লাস। প্রতিটি CIFilter ইনপুট প্যারামিটার (inputImage, inputIntensity, inputRadius, ইত্যাদি) এবং একটি আউটপুট ইমেজসহ একটি শেডার প্রোগ্রাম। Apple ২০০-এর বেশি বিল্ট-ইন CIFilter সরবরাহ করে, যা বিভাগ অনুসারে গোষ্ঠীবদ্ধ: CICategoryColorEffect (কালার কারেকশন), CICategoryBlur (ব্লার), CICategoryStylize (স্টাইলাইজেশন), CICategoryGeometryAdjust (জ্যামিতিক রূপান্তর)।

কাস্টম CIFilter তৈরি করতে, ডেভেলপার একটি Metal শেডার (CIKernel) লেখেন — Metal Shading Language-এ একটি ফ্র্যাগমেন্ট শেডার যা প্রতিটি পিক্সেল স্বাধীনভাবে প্রসেস করে। কম্পাইলেশনের পর, শেডারটি CIFilter সাবক্লাস হিসেবে নিবন্ধিত হয় এবং Apple-এর বিল্ট-ইন ফিল্টারের সাথে চেইনে ব্যবহার করা যেতে পারে।

CIContext — রেন্ডারিং পরিবেশ

CIContext একটি ভারী অবজেক্ট যা GPU সম্পদ বরাদ্দ, শেডার কম্পাইলেশন এবং বাফারিং পরিচালনা করে। CIContext তৈরি করা একটি ব্যয়বহুল অপারেশন, তাই Apple অ্যাপ্লিকেশন লাইফসাইকেলে এটি একবার তৈরি করে পুনরায় ব্যবহার করার সুপারিশ করে। কনটেক্সটটি একটি নির্দিষ্ট GPU (Metal, OpenGL) বা CPU-র সাথে আবদ্ধ এবং আউটপুট ইমেজের কালার স্পেস নির্ধারণ করে।

CIFilter: বিল্ট-ইন ফিল্টার এবং কাস্টম Metal শেডার

CIFilter লাইব্রেরি ক্রমাগত প্রসারিত হচ্ছে: iOS 17 HDR প্রসেসিং এবং মেশিন লার্নিংয়ের জন্য নতুন ফিল্টার যুক্ত করেছে। সমস্ত বিল্ট-ইন ফিল্টার Apple ডেভেলপার ডকুমেন্টেশনে নথিভুক্ত এবং বিভাগ বা নাম অনুসারে অনুসন্ধান করা যেতে পারে। ডিভাইসে উপলব্ধ ফিল্টার আবিষ্কার করতে CIFilter.filterNames(inCategory:) ব্যবহার করুন।

একাধিক ফিল্টারের চেইন

CoreImage-এর প্রধান ক্ষমতা হলো একাধিক CIFilter-কে একটি চেইনে কম্পোজ করা। একটি ফিল্টারের আউটপুট inputImage প্যারামিটারের মাধ্যমে অন্যটির ইনপুটে দেওয়া হয়। CoreImage রেন্ডারিং পর্যায়ে চেইনটি অপ্টিমাইজ করে: একই কালার স্পেসে কাজ করা সংলগ্ন ফিল্টারগুলি একটি একক GPU পাসে (kernel fusion) একত্রিত হয়। এটি ডেভেলপারের হস্তক্ষেপ ছাড়াই কর্মক্ষমতা লাভ প্রদান করে।

CIKernel-এর মাধ্যমে কাস্টম ফিল্টার

কাস্টম ইফেক্ট তৈরি করতে, ডেভেলপার [[kernel]] অ্যানোটেশনসহ একটি Metal ফাংশন লেখে। ফাংশনটি পিক্সেল স্থানাঙ্ক গ্রহণ করে এবং একটি রঙ ফেরত দেয়। CoreImage শেডারটিকে GPU-তে পাঠায়, যেখানে এটি ইমেজের সকল পিক্সেলের জন্য সমান্তরালভাবে নির্বাহিত হয়। কাস্টম ফিল্টার বিশেষ করে অনন্য ভিজুয়াল ইফেক্টের জন্য উপযোগী: অ-রৈখিক বক্ররেখাসহ সেপিয়া, ডিসপারসন ব্লার, বা ফিল্ম গ্রেইন সিমুলেশন।

#include <CoreImage/CoreImage.h>

[[kernel]] float4 customFilter(sample_t s, float intensity) {
    float4 result;
    result.rgb = s.rgb * (1.0 - intensity) + s.r * intensity;
    result.a = s.a;
    return result;
}

কর্মক্ষমতা এবং ক্যাশিং

CoreImage স্বয়ংক্রিয়ভাবে মধ্যবর্তী ফলাফলের ক্যাশ পরিচালনা করে। যদি একই ফিল্টার চেইন ভিন্ন ছবিতে প্রয়োগ করা হয়, CoreImage কম্পাইল করা শেডার পুনরায় ব্যবহার করতে পারে। সর্বাধিক কর্মক্ষমতার জন্য, প্রতিটি ফ্রেমের জন্য CIContext তৈরি করা এড়িয়ে চলুন — একটি কনটেক্সট ব্যবহার করুন এবং ফিল্টারের ইনপুট প্যারামিটার রিসেট করুন।

CIDetector: মুখ, টেক্সট এবং অবজেক্ট শনাক্তকরণ

CIDetector Vision বা Core ML ব্যবহার না করেই ইমেজে সিম্যান্টিক অবজেক্ট শনাক্ত করার জন্য CoreImage উপপ্রণালী। CIDetector চার ধরনের ডিটেকশন সমর্থন করে: মুখ (CIDetectorTypeFace), টেক্সট (CIDetectorTypeText), QR কোড (CIDetectorTypeQRCode) এবং আয়তক্ষেত্র (CIDetectorTypeRectangle)। ডিটেক্টরটি NEON নির্দেশের জন্য অপ্টিমাইজেশনসহ CPU-তে কাজ করে, যা শক্তিশালী GPU ছাড়া ডিভাইসে স্থিতিশীল গতি নিশ্চিত করে।

মুখ শনাক্তকরণ

মুখ ডিটেক্টর CIDetectorTypeFace মুখের সীমানা স্থানাঙ্ক, চোখ এবং মুখের অবস্থানসহ CIFaceFeature-এর একটি অ্যারে ফেরত দেয়। iOS 12 থেকে, CIDetector হাসি (hasSmile) এবং বাম/ডান চোখের অবস্থান (leftEyeClosed, rightEyeClosed)-ও শনাক্ত করে। ডিটেকশন নির্ভুলতা অধিকাংশ AR এবং ফটো অ্যাপ্লিকেশনের জন্য যথেষ্ট, কিন্তু গুরুত্বপূর্ণ পরিস্থিতিতে Apple Vision.framework সুপারিশ করে।

আয়তক্ষেত্র শনাক্তকরণ

CIDetectorTypeRectangle ইমেজে আয়তক্ষেত্রাকার এলাকা খুঁজে পায় — ডকুমেন্ট, বিজনেস কার্ড, ডিভাইস স্ক্রিন। ডিটেক্টর চারটি বিন্দুসহ CIRectangleFeature ফেরত দেয় যা আয়তক্ষেত্রের কনট্যুর গঠন করে। WWDC 2024 অনুযায়ী, আয়তক্ষেত্র ডিটেক্টর Vision-এর মতোই নিউরাল নেটওয়ার্ক আর্কিটেকচার ব্যবহার করে, কিন্তু কম মেমরি খরচসহ। এটি রিয়েল-টাইম ফ্রেম স্ট্রিম প্রসেসিংয়ের জন্য এটিকে পছন্দনীয় করে, যেমন ডকুমেন্ট স্ক্যানার অ্যাপ্লিকেশনে।

কোড উদাহরণ: Swift-এ ফিল্টার এবং ডিটেকশন

ব্যবহারিক উদাহরণ CoreImage-এর বোঝাপড়া মজবুত করতে সাহায্য করবে। আসুন দুটি সাধারণ পরিস্থিতি দেখি: একটি ফটোতে কালার ফিল্টার প্রয়োগ এবং বাউন্ডিং বক্স আঁকার সাথে মুখ শনাক্তকরণ।

ছবিতে সেপিয়া প্রয়োগ

CISepiaTone ফিল্টারের একটি মৌলিক উদাহরণ, যা রঙিন ছবিকে সেপিয়া টোনে রূপান্তর করে। ফিল্টারটি inputIntensity প্যারামিটার 0 (মূল) থেকে 1 (সর্বোচ্চ ইফেক্ট) পর্যন্ত গ্রহণ করে। অলস মূল্যায়ন লক্ষ্য করুন: filter.outputImage দ্বারা ফেরত দেওয়া CIImage পিক্সেল ধারণ করে না — রেন্ডারিং শুধুমাত্র context.createCGImage কল করলে ঘটে।

import CoreImage

guard let inputImage = CIImage(image: uiImage) else { return }
let filter = CIFilter(name: "CISepiaTone")
filter?.setValue(inputImage, forKey: kCIInputImageKey)
filter?.setValue(0.8, forKey: kCIInputIntensityKey)

let context = CIContext()
let outputImage = filter?.outputImage
let cgImage = context.createCGImage(outputImage!, from: inputImage.extent)
let resultImage = UIImage(cgImage: cgImage!)

বাউন্ডিং বক্স আঁকার সাথে মুখ শনাক্তকরণ

নিচের উদাহরণটি একটি ইমেজে মুখ খুঁজতে এবং প্রতিটি শনাক্ত মুখের চারপাশে আয়তক্ষেত্র আঁকার জন্য CIDetector ব্যবহার করে। CIFaceFeature-এ ইমেজ কোঅর্ডিনেট সিস্টেমে (নিচ-বাম কোণায় উৎপত্তি) স্থানাঙ্ক থাকে, তাই UIKit-এ আঁকার সময় অ্যাফিন ট্রান্সফর্মের মাধ্যমে স্থানাঙ্ক রূপান্তর প্রয়োজন।

let detector = CIDetector(
    ofType: CIDetectorTypeFace,
    context: context,
    options: [CIDetectorAccuracy: CIDetectorAccuracyHigh]
)
let features = detector?.features(in: inputImage) as? [CIFaceFeature]

for face in features ?? [] {
    print("Face bounds: \(face.bounds)")
    if face.hasSmile {
        print("ব্যক্তিটি হাসছে")
    }
}

একাধিক ইফেক্টের কম্পোজিশন

চূড়ান্ত উদাহরণ তিনটি ফিল্টারের চেইন প্রদর্শন করে: কালার কারেকশন, ভিগনেটিং এবং টেক্সচার ওভারলে। লক্ষ্য করুন যে প্রথম ফিল্টারের outputImage মধ্যবর্তী রেন্ডারিং ছাড়াই দ্বিতীয়টিতে inputImage হিসেবে পাস করা হয়। যখন createCGImage কল করা হয়, CoreImage তিনটি অপারেশনকে একটি একক GPU পাসে একত্রিত করে।

let colorFilter = CIFilter(name: "CIColorControls")
colorFilter?.setValue(inputImage, forKey: kCIInputImageKey)
colorFilter?.setValues([
    kCIInputBrightnessKey: 0.1,
    kCIInputContrastKey: 1.2
])

let vignetteFilter = CIFilter(name: "CIVignette")
vignetteFilter?.setValue(colorFilter?.outputImage, forKey: kCIInputImageKey)
vignetteFilter?.setValue(2.0, forKey: "inputRadius")

let finalImage = vignetteFilter?.outputImage
let result = context.createCGImage(finalImage!, from: inputImage.extent)