فك التشفير التخميني: إزاي تسرّع استدلال الـ LLM 2 إلى 3 أضعاف بدون تغيير الموديل

from transformers import AutoModelForCausalLM, AutoTokenizer

target = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B-Instruct", device_map="auto")
assistant = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B-Instruct", device_map="auto")
tok = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")

inputs = tok("اشرح الفرق بين TCP و UDP في ثلاث جمل:", return_tensors="pt").to(target.device)

# assistant_model هو النموذج المخمّن السريع
out = target.generate(**inputs, assistant_model=assistant, max_new_tokens=200)
print(tok.decode(out[0], skip_special_tokens=True))

في الإنتاج، الأفضل تستخدم vLLM اللي بيدعم speculative decoding مضبوطًا مع الـ batching:

الأرقام: إيه اللي تتوقّعه فعلاً

الورقة الأصلية من Google (Leviathan et al., 2023) قاست تسريع من 2 إلى 3 أضعاف على نماذج T5 وGPT دون أي تغيير في المخرجات. ورقة DeepMind (Chen et al., 2023) سجّلت 2 إلى 2.5 ضعف على Chinchilla بحجم 70 مليار باراميتر.

سيناريو واقعي: لو عندك خدمة شات بتخدم زمن استجابة متوسط 40 توكن/ثانية على Llama-3.1-8B، تفعيل speculative decoding بنموذج مساعد 1B ممكن يوصّلك لـ 80 إلى 110 توكن/ثانية على نفس الكارت، بشرط إن معدل القبول عالٍ. المكسب الحقيقي بيعتمد على "معدل القبول" (acceptance rate): كل ما النموذج الصغير قريب من الكبير، كل ما القبول أعلى والتسريع أكبر.

الـ trade-offs اللي لازم تنتبه لها

مفيش وجبة مجانية. بتكسب سرعة، بتخسر حاجات:

• ذاكرة زيادة: بتحمّل نموذجين على نفس الكارت. النموذج المساعد 1B بياخد تقريبًا 2 جيجابايت إضافية بدقة FP16.
• تعقيد التشغيل: لازم تختار حجم النموذج المساعد وعدد التوكنز المخمّنة (k) بعناية. k كبير مع معدل قبول منخفض ممكن يبطّئك بدل ما يسرّعك.
• حساسية للـ batch الكبير: لما الـ batch كبير جدًا، الـ GPU بيبقى مشغول أصلًا (compute bound)، والطاقة المهدورة اللي بنستغلّها بتقل، فالمكسب بيتراجع.

متى لا تستخدم هذه الطريقة

ابعد عنها في الحالات دي:

• لو الـ throughput أهم عندك من زمن استجابة كل مستخدم، وشغّال بـ batch كبير مشبع للـ GPU؛ هنا المكسب هيبقى هامشي.
• لو الذاكرة عندك مضغوطة أصلًا ومش قادر تحمّل نموذج مساعد إضافي.
• لو مفيش نموذج مساعد قريب من نموذجك (نفس التوكنايزر والعائلة)؛ معدل قبول منخفض بيلغي الفايدة.

الخطوة التالية

شغّل قياسًا سريعًا: فعّل speculative decoding في vLLM بنموذج مساعد 1B و--num-speculative-tokens 5، وقيس الـ tokens/second وقارنها بدون التقنية على نفس البرومبت. لو التسريع أقل من 1.5 ضعف، جرّب تقلّل k لـ 3 أو تختار نموذجًا مساعدًا أقرب لعائلة نموذجك، ثم أعد القياس.

المصادر

• Leviathan, Kalman, Matias — "Fast Inference from Transformers via Speculative Decoding" (Google, ICML 2023): arxiv.org/abs/2211.17192
• Chen et al. — "Accelerating Large Language Model Decoding with Speculative Sampling" (DeepMind, 2023): arxiv.org/abs/2302.01318
• Hugging Face — Assisted Generation (Speculative Decoding) documentation: huggingface.co/docs/transformers/generation_strategies
• vLLM — Speculative Decoding documentation: docs.vllm.ai/en/latest/features/spec_decode.html