المستوى المطلوب: محترف. هذا الشرح يفترض إلمامك بأساسيات تشغيل نماذج اللغة والـ GPU ومصطلح الـ inference. لو انت مبتدئ، ابدأ بمقال أبسط عن كيفية عمل النماذج ثم ارجع هنا.
التكميم: إزاي تنزّل حجم نموذج اللغة 4 أضعاف من غير ما تعيد تدريبه
تقدر تشغّل نموذج بـ 70 مليار باراميتر على كارت شاشة واحد بـ 48GB بدل ما تحتاج كارتين A100 بـ 80GB لكل واحد. المفتاح مش سيرفر أقوى، المفتاح إنك تخزّن كل وزن في 4 بت بدل 16 بت. ده اسمه التكميم (Quantization)، وهو أرخص رافعة عندك لتشغيل النماذج الكبيرة محليًا.
المشكلة باختصار
نموذج بـ 70B مخزّن بدقة FP16 بياخد 140GB للأوزان لوحدها (70 مليار وزن × 2 بايت). ده قبل الـ KV cache وقبل أي overhead. النتيجة: مفيش كارت مستهلك يشغّله، وبتضطر تأجّر كذا GPU بتكلفة عالية. التكميم بيهاجم المشكلة دي مباشرة: يقلّل عدد البتات لكل وزن، فتقل الذاكرة والباندويدث المطلوبة.
الفكرة ببساطة قبل الدقة
تخيّل إنك بتسجّل درجات حرارة كل يوم. لو خزّنت 23.847 درجة بكل الكسور هتاخد مساحة كبيرة. لو قرّبت لأقرب نص درجة (23.5) هتوفّر مساحة كتير وتخسر تفصيلة بسيطة مش مهمة عمليًا. التكميم بيعمل نفس الحكاية مع أوزان النموذج بالظبط: بدل ما يخزّن كل وزن برقم عشري دقيق، بيقرّبه لأقرب قيمة من مجموعة صغيرة من القيم.
علميًا: كل وزن في FP16 له 65,536 مستوى ممكن. في INT4 عندك 16 مستوى بس (2 أُس 4). بنحسب لكل مجموعة أوزان (group) عامل قياس scale ونقطة صفر zero-point، وبنحوّل كل وزن لأقرب مستوى من الـ 16 عبر: q = round(w / scale) + zero_point. وقت الحساب بنفكّ التكميم مؤقتًا: w ≈ scale × (q - zero_point). الفكرة إن أوزان الشبكة موزّعة حوالين الصفر، فـ 16 مستوى موضوعة بذكاء بتكفي لتقريب كويس.
الأنواع اللي هتقابلك فعلاً
- LLM.int8(): تكميم 8 بت مع معالجة القيم الشاذة بدقة عالية. الأأمن على الدقة، بيوفّر ~2x ذاكرة.
- NF4 (QLoRA): نوع 4 بت (NormalFloat) مصمّم للأوزان الموزّعة طبيعيًا، مع "تكميم مزدوج" بيوفّر حوالي 0.4 بت إضافية لكل وزن.
- GPTQ / AWQ: تكميم 4 بت بعد التدريب (post-training) بيعاير الأوزان على عيّنة بيانات، فيقلّل خسارة الدقة أكتر من التقريب المباشر.
- GGUF (llama.cpp): صيغة ملف + عائلة k-quants زي
Q4_K_M، الأشهر للتشغيل المحلي على CPU/GPU.
مثال تنفيذي: شغّلها بنفسك
الطريقة الأولى بـ bitsandbytes داخل Transformers، تحمّل النموذج مكمّمًا لـ 4 بت مباشرة:
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
import torch
bnb = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4", # NF4 من ورقة QLoRA
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_use_double_quant=True, # تكميم مزدوج: ~0.4 بت/وزن توفير
)
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Meta-Llama-3-8B-Instruct",
quantization_config=bnb,
device_map="auto",
)
# نموذج 8B نزل من ~16GB لأقل من 6GB VRAM