Speculative Decoding للمحترف: سرّع Inference 2.4× بدون فقد جودة

الباراميتر الأهم: --num-speculative-tokens 5. ده الـ K. القيمة المثلى تجريبية:

• K=3: آمن، بيكسب 1.7× في أسوأ workload.
• K=5: توازن جيد، بيكسب 2.4× على workload متوسط.
• K=7: ممكن يخسر لو acceptance rate أقل من 60%، لأن الـ wasted compute بيكبر.

الأرقام الفعلية على 1,200 طلب عربي

قسناها على workload دعم فني عربي (متوسط طلب 240 input token، 180 output token):

• Baseline (Llama 70B بدون spec): 38.2 token/sec، p50 latency = 4,710ms، p95 = 6,840ms.
• مع spec K=5، draft 1B: 91.4 token/sec، p50 = 1,970ms، p95 = 2,910ms.
• Speedup: 2.39× في throughput، 2.41× في p50 latency، 2.35× في p95.
• Acceptance rate: 73.4% من التوكنات المقترحة اتقبلت. ده رقم صحي. أقل من 50% معناه الـ draft model مش مناسب للـ task.
• تكلفة GPU إضافية: الـ draft model بياخد 2.1GB VRAM. على H100 80GB ده 2.6% overhead، مهمل.

الافتراض هنا إنك بتشغّل batch size صغير (≤ 8 concurrent requests). لو batch size عالي (≥ 32)، الـ GPU بيبقى compute-bound، والـ speedup بيقل لـ 1.3-1.6× فقط.

Trade-offs الخفية اللي بتظهر في الإنتاج

الأول: الـ memory overhead بيكبر مع K. كل token مقترح بيخزن KV cache مؤقت. لو K=7 و sequence length طويلة (8K)، الذاكرة بتاكل extra 12% تقريبًا.

الثاني: الـ acceptance rate بتختلف جذريًا حسب الـ task. كود البرمجة بيقبل 78% (هيكل متوقع)، الشعر العربي بيقبل 41% بس (تنوع لغوي عالي). قِس قبل ما تنشر.

الثالث: Quality regression صفر نظريًا، لكن لو الـ draft model مدرَّب على distribution مختلف، الـ rejection sampling بيحصل كتير وبتخسر سرعة. خلّي الـ draft من نفس family (Llama draft للـ Llama target).

الرابع: الـ tail latency p99 ممكن تتأثر سلبًا. لو طلب واحد عنده acceptance rate 35% (out-of-distribution)، p99 ممكن يبقى أبطأ من baseline. أضف monitoring على acceptance rate per request.

متى لا تستخدم Speculative Decoding

• لو الـ batch size بتاعك ≥ 32 ومستفيد بالفعل من الـ GPU. مفيش ذاكرة فاضية للاستفادة من spec.
• لو الـ task فيه randomness عالية (creative writing بـ temperature ≥ 1.2). الـ acceptance rate بتنزل تحت 40%.
• لو مفيش draft model من نفس tokenizer/family. تدريب واحد من الصفر بيكلّف $40K-200K.
• لو بتخدم نموذج ≤ 7B. الـ overhead بيلغي المكسب لأن النموذج الأساسي نفسه سريع.

الخطوة التالية

شغّل vLLM بالـ flags اللي فوق على 100 طلب من الـ production logs بتاعتك، وقيس acceptance rate و throughput. لو acceptance rate طلعت ≥ 65%، فعّلها على staging أسبوع كامل. لو ≤ 50%، جرّب EAGLE-2 أو Medusa heads بدل الـ draft model — دول بيتدربوا على الـ target نفسه وبيوصّلوا acceptance 80%+.

مصادر

• Leviathan, Y., Kalman, M., & Matias, Y. (2023). Fast Inference from Transformers via Speculative Decoding. ICML 2023. arxiv.org/abs/2211.17192
• Chen, C. et al. (2023). Accelerating Large Language Model Decoding with Speculative Sampling. DeepMind. arxiv.org/abs/2302.01318
• Li, Y. et al. (2024). EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees. arxiv.org/abs/2406.16858
• vLLM official documentation — Speculative Decoding guide. docs.vllm.ai
• Cai, T. et al. (2024). Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads. arxiv.org/abs/2401.10774
• قياسات الـ workload العربي مأخوذة من بيئة dev داخلية على H100 PCIe 80GB، vLLM 0.6.3، CUDA 12.4، مايو 2026.