Quantization للمحترف: شغّل Llama 70B على 24GB VRAM بدل 140GB

الفرق العملي بين GPTQ و AWQ و GGUF

التلاتة بينزّلوا الموديل لـ 4 بت، لكن كل واحد بيختار يحافظ على إيه:

1. GPTQ: post-training quantization بيستخدم Hessian من dataset صغير لتحديد الأوزان الحساسة. بياخد ساعتين على H100 لـ 70B model. أفضل خيار لو محتاج جودة عالية على GPU واحد.
2. AWQ (Activation-aware Weight Quantization): بيحمي الأوزان اللي بترتبط بـ activations كبيرة. أسرع من GPTQ في inference بحوالي 1.5x لأن الـ kernels مكتوبة CUDA-native في vLLM.
3. GGUF (GPT-Generated Unified Format): format من llama.cpp بيدعم split بين CPU RAM و GPU VRAM. مناسب لو كرتك صغير وعندك RAM كتيرة. أبطأ في الـ throughput لكن مرن جداً.

كود تشغيل فعلي

تحميل Llama 3.3 70B بـ INT4 عبر bitsandbytes في 4 سطور:

على RTX 4090 بـ 24GB، الكود ده بيشتغل ويعطي output في حدود 18 token/ثانية. nf4 (NormalFloat 4-bit) من ورقة QLoRA أفضل من INT4 العادي لأنه بيستغل التوزيع الطبيعي للأوزان.

سيناريو إنتاج واقعي

افرض إن عندك خدمة chatbot بتخدم 50 ألف مستخدم يومياً، متوسط 4 رسائل لكل مستخدم. على H100 بـ FP16 الفاتورة الشهرية بتقترب من 12,000$. لو حوّلت لـ AWQ على A10G (24GB، 1.2$/ساعة)، الفاتورة بتنزل لحوالي 870$ شهرياً مع latency p95 يزيد 80ms بس. الفارق هنا 13x في التكلفة مقابل اختلاف في جودة الردود أقل من 1.5% على MT-Bench.

الـ Trade-offs اللي لازم تعرفها

• بتكسب: ذاكرة أقل بـ 4x، تكلفة hardware أقل بـ 5-10x، throughput أعلى في memory-bound scenarios.
• بتخسر: دقة محسوبة (1-3% على benchmarks)، صعوبة fine-tuning مباشر (تحتاج QLoRA)، توافق محدود مع بعض الـ kernels.
• الافتراض: الموديل أكبر من 7B parameters. على موديلات أصغر من 3B، الفقد في الجودة بيوصل 8-12% وبيبقى ملحوظ في المهام الـ reasoning.

متى لا تستخدم Quantization

أربع حالات Quantization فيها قرار غلط:

1. موديلات صغيرة جداً (أقل من 3B): الفقد بيكون كبير نسبياً وتقدر تشغّل FP16 على أي كرت بـ 8GB.
2. مهام طبية أو قانونية: 1% فقد في الجودة ممكن يبقى الفرق بين تشخيص صح وغلط. اختبر على dataset domain-specific قبل الإنتاج.
3. Fine-tuning كامل: لازم تستخدم QLoRA أو ترجع لـ FP16/BF16. quantized weights مش قابلة للـ gradient updates مباشرة.
4. Latency-critical workloads على GPUs مرتفعة: على H100 بـ FP8 native support، الفرق في latency بين FP8 و INT4 بيقل لأن compute هو الـ bottleneck مش الذاكرة.

الخطوة التالية

افتح كرتك دلوقتي واختبر TheBloke/Llama-3.3-70B-Instruct-AWQ من Hugging Face. شغّله على vLLM بـ --quantization awq وقيس الـ throughput بـ vllm bench serve. لو الفرق في جودة الردود مش محسوس على dataset بتاعك، دلوقتي قللت تكلفتك 10x. لو الفرق ملحوظ، ارجع لـ INT8 الأول قبل ما تستسلم وتعيد لـ FP16.

المصادر

• Frantar et al., "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers", arXiv:2210.17323 (2023).
• Lin et al., "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration", MLSys 2024.
• Dettmers et al., "QLoRA: Efficient Finetuning of Quantized LLMs", NeurIPS 2023 — مصدر nf4.
• Hugging Face Transformers documentation — bitsandbytes integration.
• llama.cpp project — GGUF format specification (ggerganov/llama.cpp on GitHub).
• Meta AI, Llama 3.3 model card — قياسات MMLU الرسمية.
• vLLM documentation — quantization backends و throughput benchmarks.