mlmodel — یہ کیا ہے، فائل کا ڈھانچہ اور mlpackage میں تبدیلی

mlmodel کیا ہے؟

mlmodel ایک بائنری فائل فارمیٹ ہے جسے Apple نے 2017 میں WWDC 2017 میں Core ML فریم ورک کے ساتھ متعارف کرایا تھا۔ یہ فارمیٹ Google کی protobuf (Protocol Buffers) سیریلائزیشن ٹیکنالوجی پر مبنی ہے، جو کمپیکٹ سائز (Float32 میں ماڈل وزن) اور موثر میموری لوڈنگ کو یقینی بناتا تھا۔ .mlmodel فائل کا ایکسٹینشن .mlmodel اور MIME قسم application/x-Apple-mlmodel تھی۔

فارمیٹ کی تاریخ

.mlmodel فارمیٹ 2017 سے 2021 تک واحد Core ML فارمیٹ تھا۔ اس دوران، TensorFlow، Keras، PyTorch، Caffe، scikit-learn اور دیگر لائبریریوں سے لاکھوں ماڈلز coremltools کے ذریعے تبدیل کیے گئے۔ ماڈلز کی پیچیدگی بڑھنے کے ساتھ فارمیٹ کی حدود واضح ہو گئیں: protobuf آسان ورژننگ کی حمایت نہیں کرتا، میٹا ڈیٹا بائنری شکل میں محفوظ ہوتا ہے (git diff میں ناقابل پڑھنے)، اور نئے فیلڈز شامل کرنے کے لیے protobuf اسکیما میں تبدیلیوں کی ضرورت ہوتی تھی۔

اہم خصوصیات

mlmodel فائل ماڈل کو ایک کمپیکٹ بائنری نمائندگی میں محفوظ کرتی ہے۔ سائز دسیوں کلو بائٹس (لکیری رجعت) سے لے کر گیگا بائٹس (لاکھوں پیرامیٹرز والے عصبی نیٹ ورک) تک ہوتی ہے۔ فارمیٹ تمام Core ML ماڈل اقسام کی حمایت کرتا ہے: عصبی نیٹ ورک (NeuralNetwork, NeuralNetworkClassifier, NeuralNetworkRegressor)، اینسبل ماڈلز (TreeEnsemble, GradientBoosting)، رجعت (LinearRegression, SVM) اور پری/پوسٹ پروسیسنگ پائپ لائنز (OneHotEncoder, FeatureVectorizer)۔

mlmodel فائل کا ڈھانچہ

.mlmodel فائل کا اندرونی ڈھانچہ CoreML.framework فریم ورک میں بیان کردہ protobuf اسکیما کے ذریعے طے ہوتا ہے۔ اہم حصے یہ ہیں: modelDescription — ماڈل کے ان پٹ، آؤٹ پٹ اور میٹا ڈیٹا کی تفصیل؛ modelParameters — ماڈل کی قسم کے مخصوص پیرامیٹرز (عصبی نیٹ ورک کے وزن، ٹری اینسبل، رجعت کے گتانک)؛ preprocessing — پری پروسیسنگ کنفیگریشن (اسکیلنگ، تصویر کی نارملائزیشن)؛ postprocessing — پوسٹ پروسیسنگ (softmax, argmax, حد کی قدریں)۔

modelDescription سیکشن

modelDescription سیکشن (MLModelDescription) میں ماڈل کا نام، مصنف، ورژن، تفصیل، لائسنس، نیز تمام ان پٹ اور آؤٹ پٹ پیرامیٹرز کی تفصیلی وضاحت شامل ہے: نام، ڈیٹا کی قسم (Float32, Int32, String, Image)، جہت، تصویر کا فارمیٹ (BGR, RGB)، اختیاری پابندیاں (قدر کی حد)۔ یہ سیکشن Xcode کے ذریعے ٹائپ شدہ ان پٹ اور آؤٹ پٹ کے ساتھ Swift ماڈل کلاس بنانے کے لیے استعمال ہوتا تھا۔

modelParameters سیکشن

modelParameters سیکشن میں تربیت یافتہ ماڈل کے اصل وزن اور پیرامیٹرز ہوتے ہیں۔ عصبی نیٹ ورکس کے لیے، یہ پرتوں (NeuralNetworkLayer) کی ایک صف ہے، جن میں سے ہر ایک میں قسم (convolution, pooling, activation, innerProduct)، وزن، بایس اور پیرامیٹرز (kernelSize, stride, padding) ہوتے ہیں۔ اینسبل ماڈلز کے لیے — فیصلہ درخت اور ان کے نوڈس۔ رجعت کے لیے — گتانک اور انٹرسیپٹ۔ وزن Float32 (4 بائٹ فی قدر) میں محفوظ ہوتے ہیں۔

preprocessing سیکشن

preprocessing سیکشن ماڈل میں ان پٹ ڈیٹا ڈالنے سے پہلے پری پروسیسنگ کے مراحل کی وضاحت کرتا ہے۔ Core ML اس کی حمایت کرتا ہے: اسکیلنگ (Scaler) — اوسط اور معیاری انحراف کے ذریعے نارملائزیشن؛ تصویر کی تبدیلی (ImagePreprocessing) — سائز تبدیل کرنا، کراپ کرنا، رنگ چینل نارملائزیشن، BGR→RGB تبدیلی؛ OneHotEncoder — زمرہ جاتی خصوصیات کی انکوڈنگ؛ FeatureVectorizer — متعدد خصوصیات کو ایک ویکٹر میں یکجا کرنا۔

mlmodel بمقابلہ mlpackage: تقابلی تجزیہ

mlpackage Core ML ماڈلز کے لیے اگلی نسل کا فارمیٹ ہے، جسے WWDC 2021 میں متعارف کرایا گیا تھا۔ واحد بائنری .mlmodel فائل کے برعکس، .mlpackage ایک فائل ڈھانچے والی ڈائریکٹری (پیکیج) ہے: ماڈل کا مواد پڑھنے کے قابل JSON فائلوں (میٹا ڈیٹا، پرت کنفیگریشن) اور وزن کے لیے علیحدہ بائنری فائلوں کے طور پر محفوظ کیا جاتا ہے۔ یہ ذخیرہ، ورژننگ اور ML ماڈلز پر تعاون کے طریقہ کار کو یکسر تبدیل کرتا ہے۔

mlpackage کا فائل ڈھانچہ

.mlpackage پیکیج میں شامل ہے: ModelCI/ — ورژن شدہ ماڈل کنفیگریشن والی ڈائریکٹری؛ Data/ — بائنری وزن کی فائلیں (SharedWeights.bin)؛ Metadata.json — نام، مصنف، تفصیل، ماڈل ورژن، تخلیق کی تاریخ؛ Model.json — فن تعمیر کی تفصیل، ان پٹ/آؤٹ پٹ، پرت کی اقسام؛ Manifests/ — CI/CD کے لیے ورژن مینی فیسٹ۔ یہ ڈھانچہ git میں ماڈل کے ساتھ موثر طریقے سے کام کرنے کی اجازت دیتا ہے: میٹا ڈیٹا اور کنفیگریشن کو ٹریک کیا جاتا ہے، جبکہ بائنری وزن Git LFS استعمال کر سکتے ہیں۔

mlmodel کو mlpackage میں کیسے تبدیل کریں

.mlmodel سے .mlpackage میں تبدیلی دو طریقوں سے کی جاتی ہے: Xcode میں تعمیر کے دوران خود بخود (Xcode خود تالیف کے دوران .mlmodel کو .mlpackage میں تبدیل کرتا ہے) یا Python میں coremltools کے ذریعے دستی طور پر۔ دستی تبدیلی زیادہ کنٹرول دیتی ہے اور ماڈل میٹا ڈیٹا کو اپ ڈیٹ کرنے، تفصیل شامل کرنے اور مصنف مقرر کرنے کی اجازت دیتی ہے۔ تبدیلی کے بعد، ماڈل .mlpackage کے طور پر محفوظ ہوتا ہے اور اصل .mlmodel کی بجائے استعمال کیا جا سکتا ہے۔

import coremltools as ct

model = ct.models.MLModel(
    "OldModel.mlmodel"
)
model.author = "IT Sectr"
model.short_description = "Converted from mlmodel"
model.version = "2.0"
model.save("NewModel.mlpackage")

Xcode میں خودکار تبدیلی

Xcode پروجیکٹ میں .mlmodel فائل شامل کرتے وقت، سسٹم خود بخود اس کا فارمیٹ پہچان لیتا ہے اور تعمیر کے دوران Model Compiler چلاتا ہے — ایک ٹول جو .mlmodel کو .mlpackage میں ترجمہ کرتا ہے۔ مرتب شدہ .mlpackage تعمیر کی ڈائریکٹری (DerivedData) میں رکھا جاتا ہے۔ ڈویلپر اس عمل کو محسوس نہیں کرتا — تمام Core ML APIs اصل فارمیٹ سے قطع نظر ماڈل کے ساتھ یکساں طور پر کام کرتی ہیں۔ تاہم، Xcode .mlpackage استعمال کرنے کی سفارش کے ساتھ .mlmodel شامل کرتے وقت ایک انتباہ جاری کرتا ہے۔

تبدیلی کے بعد تصدیق

تبدیلی کے بعد، یہ یقینی بنانا ضروری ہے کہ ماڈل نے درستگی برقرار رکھی ہے۔ coremltools ایک جیسے ان پٹ ڈیٹا پر اصلی اور تبدیل شدہ ماڈل کی پیش گوئیوں کا موازنہ کرنے کے لیے ct.utils.compare_models() یوٹیلیٹی فراہم کرتا ہے۔ Float32 کے لیے قابل قبول فرق 1e-5 سے زیادہ نہیں ہے۔ اگر فرق اس حد سے زیادہ ہے تو، ماڈل میں اپنی مرضی کی پرتیں یا آپریشنز ہو سکتے ہیں جو نئے فارمیٹ میں معاون نہیں ہیں۔

پسماندہ مطابقت اور معاونت

.mlmodel کی پسماندہ مطابقت iOS اور macOS کے تمام موجودہ ورژنز پر یقینی بنائی جاتی ہے۔ Xcode 12 یا اس سے نئے ورژن کے ساتھ مرتب کردہ ایپلیکیشن خود بخود ماڈل کا .mlpackage ورژن حاصل کرتی ہے، چاہے اصل فائل .mlmodel ہی کیوں نہ ہو۔ تاہم، Xcode 15 (2023) سے شروع کرتے ہوئے، Apple نے اعلان کیا کہ نئی ماڈل اقسام (متحرک عصبی نیٹ ورک، کنٹرول شدہ سیکھنا) صرف .mlpackage فارمیٹ میں دستیاب ہوں گی، اور .mlmodel نئی صلاحیتیں حاصل نہیں کرے گا۔

iOS 18+ اور macOS 15+ میں معاونت

iOS 18 اور macOS 15 (Sequoia) سے شروع کرتے ہوئے، Core ML اب .mlmodel کی براہ راست لوڈنگ کی حمایت نہیں کرتا۔ تمام .mlmodel ماڈلز کو پہلے سے .mlpackage میں تبدیل کیا جانا چاہیے، یا تعمیر کے دوران تبدیلی کے لیے Xcode Model Compiler استعمال کیا جائے گا۔ سسٹم API MLModel(contentsOf:) صرف .mlmodel فائلیں کھول سکتا ہے اگر وہ پروجیکٹ کی تعمیر کے مرحلے میں .mlpackage میں تبدیل کی گئی ہوں۔

معاونت کے خاتمے کا وقت

Apple نے .mlmodel کی مکمل معاونت ہٹانے کی تاریخ کا باقاعدہ اعلان نہیں کیا، لیکن تاریخی سیاق و سباق 3-4 سال کی منتقلی کی مدت کی نشاندہی کرتا ہے۔ .mlmodel فارمیٹ 2017 میں متعارف کرایا گیا تھا، .mlpackage 2021 میں۔ فرسودگی کے انتباہات Xcode 13 (2021) میں ظاہر ہوئے۔ 32 بٹ ایپلیکیشنز (iOS 11 نے معاونت ختم کر دی) کے مشابہ، .mlmodel کی مکمل معاونت iOS 20-21 (2026-2027) میں ختم ہو سکتی ہے۔

mlmodel کب بھی متعلقہ ہے

فارمیٹ کے فرسودہ ہونے کے باوجود، .mlmodel اب بھی موجودہ پروجیکٹس اور کچھ منظرناموں میں پایا جاتا ہے۔ Core ML کے ساتھ کام کرنے والے ڈویلپرز کو یہ سمجھنے کی ضرورت ہے کہ .mlmodel کب ورک فلو کا حصہ رہتا ہے اور کارکردگی کھوئے بغیر اس کے ساتھ صحیح طریقے سے کیسے تعامل کیا جائے۔

لیگیسی — پرانے پروجیکٹس

2021 سے پہلے شروع کیے گئے موجودہ پروجیکٹس میں Swift Package Manager یا براہ راست Xcode کے ذریعے لوڈ کیے گئے درجنوں .mlmodel ماڈلز ہو سکتے ہیں۔ تمام ماڈلز کو .mlpackage میں منتقل کرنا محنت طلب ہو سکتا ہے، خاص طور پر اگر ماڈلز coremltools (5.0 سے پہلے) کے پرانے ورژن کے ذریعے بنائے گئے ہوں۔ Apple قریب ترین فعالیت کی تازہ کاری پر ایک وقت میں ایک ماڈل، بتدریج منتقلی کی سفارش کرتا ہے۔

coremltools کے ساتھ CI/CD پائپ لائن

کچھ موجودہ CI/CD پائپ لائنز خودکار ماڈل تبدیلی کے لیے coremltools ورژن 4.x استعمال کرتی ہیں، جو ڈیفالٹ طور پر .mlmodel میں ایکسپورٹ کرتی ہے۔ coremltools کو ورژن 5+ میں اپ ڈیٹ کرنے سے ایکسپورٹ فارمیٹ .mlpackage میں بدل جاتا ہے، جس کے لیے اسکرپٹس اور ٹیسٹس کو اپ ڈیٹ کرنے کی ضرورت پڑ سکتی ہے۔ ایسے معاملات میں، ٹیمیں بعض اوقات بعد کی تاریخ میں منتقلی کا منصوبہ بنا کر عارضی طور پر .mlmodel میں ایکسپورٹ برقرار رکھتی ہیں۔

لائبریریاں اور Pods

2021 سے پہلے شائع ہونے والی تیسری پارٹی کی لائبریریاں اور CocoaPods .mlmodel فارمیٹ میں ماڈلز پر مشتمل ہو سکتی ہیں۔ مثال کے طور پر، چہرہ پہچان، تصویر فلٹرنگ یا AR فلٹرز کے لیے لائبریریاں۔ ایسی لائبریریاں استعمال کرنے والے ڈویلپرز .mlmodel کے ساتھ کام جاری رکھ سکتے ہیں کیونکہ Xcode تعمیر کے دوران انہیں خود بخود تبدیل کر دیتا ہے۔ تاہم، یہ چیک کرنے کی سفارش کی جاتی ہے کہ آیا مصنف نے .mlpackage کے ساتھ اپ ڈیٹ جاری کیا ہے۔

mlmodel کے عام مسائل

فرسودہ .mlmodel فارمیٹ کے ساتھ کام کرتے وقت، ڈویلپرز کئی عام مسائل سے دوچار ہوتے ہیں۔ ان مسائل اور ان کے حل کو جاننا جدید پروجیکٹس میں Core ML ماڈلز کو ضم کرتے وقت وقت کے ضیاع سے بچنے میں مدد کرتا ہے۔ آئیے اہم مسائل پر نظر ڈالتے ہیں۔

Xcode کا فرسودگی کا انتباہ

Xcode 13+ میں .mlmodel شامل کرتے وقت ایک انتباہ ظاہر ہوتا ہے: “‘mlmodel’ format is deprecated. Use ‘mlpackage’ instead.” انتباہ تعمیر کو مسدود نہیں کرتا لیکن منتقلی کی ضرورت کی نشاندہی کرتا ہے۔ انتباہ کو حل کرنے کے لیے، coremltools کے ذریعے ماڈل کو تبدیل کریں یا ماڈل بنانے کے ٹول کو اپ ڈیٹ کریں۔

“Model file is not valid” خرابی

coremltools (3.0 سے پہلے) کے پرانے ورژن کے ساتھ بنائی گئی .mlmodel فائل protobuf کوڈیکس میں تبدیلیوں کی وجہ سے iOS 16+ والے نئے آلات پر نہیں کھل سکتی۔ حل Python کے ذریعے ماڈل لوڈ کرنا ہے: model = ct.models.MLModel(“old.mlmodel”)، پھر دوبارہ محفوظ کرنا: model.save(“fixed.mlmodel”)، یا بہتر یہ ہے کہ براہ راست .mlpackage میں تبدیل کریں۔

اپنی مرضی کی پرتوں کے مسائل

اپنی مرضی کی پرتیں (صارف کی طرف سے متعین کردہ عصبی نیٹ ورک پرتیں) رکھنے والے .mlmodel ماڈلز اضافی مراحل کے بغیر براہ راست .mlpackage میں تبدیل نہیں کیے جا سکتے۔ پہلے coremltools میں ماڈل لوڈ کرنا ہوگا، چیک کرنا ہوگا کہ کون سی پرتیں نئے فارمیٹ میں معاون نہیں ہیں اور انہیں .mlpackage کے لیے نافذ کرنا ہوگا۔ اگر اپنی مرضی کی پرت اہم نہیں ہے، تو آپ اسے ماڈل سے ہٹانے کی کوشش کر سکتے ہیں۔