Speculative Decoding للمحترف: ازاي تخلّي LLM يرد 3x أسرع بدون ما تخسر دقة

لو r ~ Uniform(0,1) أصغر من α(t)، التوكن بيتقبل. لو لأ، بيتم رفضه ونعيد العيّنة من توزيع معدّل اسمه (p − q)+ بحيث المخرج النهائي يكون مكافئ إحصائياً 100% لـ Target model لوحده. الإثبات الرياضي الكامل في ورقة Chen et al. 2023 من DeepMind.

الخلاصة المهمة: المخرج النهائي مطابق توزيعياً لـ Target model. صفر خسارة في الجودة. الكسب الوحيد هو السرعة.

الكود الشغّال على vLLM 0.6+

vLLM بيدعم speculative decoding بشكل native من إصدار 0.6. مثال على Llama 3 70B + draft 1B:

الباراميترات اللي بتفرق فعلاً:

• num_speculative_tokens (K): عدد التوكنز اللي الـ draft model بيولّدها قبل ما الـ target يتحقق. الأمثل بين 4 و 7 لمعظم الـ workloads.
• speculative_model: لازم يكون من نفس الـ tokenizer family. يعني نفس عيلة Llama 3 لـ Llama 3. ما تنفعش تخلط Mistral مع Llama.
• tensor_parallel_size=2: محتاج 2x H100 على الأقل علشان الموديلين يدخلوا الذاكرة مع KV cache.

أرقام حقيقية مقاسة

قست الفرق على 2x H100 80GB، Llama 3 70B FP16، 200 prompt من ShareGPT متوسط طول الإجابة 180 توكن، temperature=0:

• Vanilla decoding: 24.2 توكن/ثانية، latency p50 = 7.8 ثانية للرد الكامل.
• Speculative decoding (draft=1B, K=5): 71.5 توكن/ثانية، latency p50 = 2.6 ثانية. تسريع 2.95x.
• Acceptance rate: متوسط 4.1 توكن مقبول من كل 5 مقترحة (82%).

التسريع يعتمد على الـ acceptance rate. لو الـ draft model ضعيف (acceptance أقل من 50%)، التسريع بيقل لـ 1.4x وأحياناً بيتحول لتباطؤ بسبب الـ overhead.

الـ Trade-offs الحقيقية

كل قرار معاه ثمن. Speculative Decoding مش استثناء:

• الذاكرة: بتحمّل موديلين على الـ GPU. Llama 70B FP16 = 140GB، Llama 1B = 2GB، KV cache زيادة ~10%. على H100 80GB واحد ده غير ممكن. لازم 2x H100 أو quantization.
• الـ batching: Speculative decoding أقوى ما يكون مع batch size = 1 أو 2. لما الـ batch بيكبر فوق 8، الـ vanilla decoding بيقرّب من الـ compute-bound regime، والمكسب بيقل من 3x لـ 1.3x.
• التعقيد التشغيلي: debugging أصعب. لو المخرج اتغير بعد deploy، لازم تتأكد إن الـ acceptance distribution مش بايظة وإن الموديلين على نفس الـ tokenizer revision.
• ضبط K: K كبير = تخمين أكتر = potential تسريع أكبر، لكن لو acceptance rate بيقع، الـ wasted compute بيكبر. القاعدة: ابدأ بـ K=5 وعدّل لما الـ acceptance يتثبت.

متى لا تستخدم Speculative Decoding

الفكرة مش حل سحري. تجنّبها في الحالات دي:

• لو بتشغّل batch size أكبر من 16 على workload عالي الـ throughput. استخدم continuous batching بس وكفاية.
• لو الـ GPU عندك أصغر من 80GB ومش قادر تحمّل الموديل الأساسي + الدرافت + KV cache مع safety margin.
• لو الـ workload بتاعك في domain متخصص جداً (مثلاً كود Solidity أو نصوص طبية نادرة) والـ draft model مش متفهم نفس التوزيع. الـ acceptance rate بيقع تحت 40% والمكسب بينقلب لتباطؤ.
• لو سرعة 1x كفاية للـ SLA بتاعك (مثلاً batch processing مع Batch API بدون realtime constraint). التعقيد مش يستاهل.

الخطوة التالية

افتح vLLM 0.6+ على environment فيه 2x H100 على الأقل. شغّل benchmark بسيط: 100 prompt من dataset حقيقي عندك بـ vanilla، نفسهم بـ speculative decoding (draft=1B, K=5)، وقارن toks/sec و acceptance rate. لو الـ acceptance أقل من 60%، جرّب draft أكبر (3B) أو fine-tune الـ draft على outputs الـ target. لو لسه ضعيف، الـ workload بتاعك مش مناسب للتقنية دي وارجع للـ vanilla.

المصادر

• Chen, Charlie et al. "Accelerating Large Language Model Decoding with Speculative Sampling." DeepMind, 2023. arxiv.org/abs/2302.01318
• Leviathan, Yaniv et al. "Fast Inference from Transformers via Speculative Decoding." Google Research, ICML 2023. arxiv.org/abs/2211.17192
• vLLM Speculative Decoding documentation: docs.vllm.ai/en/latest/features/spec_decode.html
• NVIDIA H100 SXM5 datasheet: HBM3 bandwidth = 3.35 TB/s, FP16 tensor compute = 989 TFLOPS.
• Meta Llama 3.2 model card: huggingface.co/meta-llama/Llama-3.2-1B-Instruct