فك التشفير التخميني: ضاعف سرعة استدلال LLM بلا خسارة في الجودة

لو مش عايز تشغّل نموذج مسوّدة تاني عشان توفّر ذاكرة، في طريقة n-gram مجانية بتدوّر على تكرارات داخل الـ prompt نفسه — مفيدة جدًا في التلخيص و RAG واستخراج البيانات اللي بيتكرّر فيها نص الإدخال:

معدّل القبول هو الرقم اللي بيحدّد كل شيء

التسريع الفعلي بيعتمد على نسبة قبول النموذج الكبير لاقتراحات المسوّدة (acceptance rate). كل ما المسوّدة تشبه الكبير أكتر، التسريع يزيد:

• قبول حوالي 40% → تسريع ضعيف (~1.2×)، وأحيانًا أبطأ من العادي بسبب تكلفة تشغيل المسوّدة.
• قبول 60–80% (النطاق الواقعي العملي) → تسريع 2× لـ 3× (Leviathan 2023؛ توثيق vLLM).
• طرق متقدمة زي EAGLE-3 بتوصّل القبول لحوالي 80% وتسريع يتعدّى 3× (Li وآخرون، 2025). NVIDIA سجّلت حتى 3.6× على H200 بـ TensorRT-LLM.

سيناريو واقعي: شات بوت بـ Llama-3.1-70B على 4×A100، بـ batch=1، مع مسوّدة 1B ومعدّل قبول حوالي 70%. التوليد بينتقل تقريبًا من حوالي 18 توكن/ثانية لحوالي 42 توكن/ثانية. للمستخدم، ده الفرق بين رد بيتقطّع ورد بيسيل بسلاسة. (أرقام تقريبية تعتمد على العتاد وطبيعة الـ workload.)

المقايضات: مفيش حاجة ببلاش

• ذاكرة إضافية: نموذج المسوّدة بياخد VRAM. Llama-3.2-1B بـ bf16 حوالي 2.5GB. الـ trade-off هنا: بتكسب سرعة، بتخسر ذاكرة كانت ممكن تروح لـ KV cache أكبر أو batch أوسع.
• تكلفة لما القبول واطي: لو المسوّدة مش متوافقة مع مجال بياناتك (كود مقابل نص عربي مثلاً)، الـ overhead بتاع التحقق ممكن يخلّيك أبطأ من غير speculative أصلًا.
• تعقيد تشغيلي: بقى عندك نموذجين تحمّلهم وتراقبهم وتحدّثهم بدل واحد.

متى لا تستخدمه

مكسب فك التشفير التخميني الأكبر بيكون عند batch صغير. الحالات اللي ما ينفعش فيها:

• خدمة عالية الإنتاجية بـ batch كبير: عند batch كبير الـ GPU بيبقى مشبع بالحساب أصلًا، فتمريرة التحقق على توكنات زيادة بتضيف overhead من غير مكسب، وممكن تقلّل الـ throughput الكلي.
• ذاكرة ضيقة: لو مفيش VRAM فاضي لنموذج مسوّدة، استخدم طريقة n-gram أو سيبها.
• قبول منخفض ثابت: لو قِست معدّل القبول ولقيته أقل من ~40% ومش بيتحسّن، الإعداد بيضرّك مش بينفعك.

الخطوة التالية

شغّل بنشمارك واحد: قِس توكن/ثانية على إعدادك الحالي، بعدين أضف speculative_config بمسوّدة 1B وnum_speculative_tokens=5 وقِس تاني. لو معدّل القبول طلع فوق 60% والـ latency نزل، خلّيه. لو القبول تحت 40%، جرّب مسوّدة أقرب لمجالك أو حوّل لطريقة n-gram. قارن الرقمين قبل وبعد قبل ما تقرّر.

المصادر

• Leviathan, Kalman, Matias — "Fast Inference from Transformers via Speculative Decoding", ICML 2023 — arXiv:2211.17192.
• Chen et al., DeepMind — "Accelerating Large Language Model Decoding with Speculative Sampling", 2023 — arXiv:2302.01318.
• Li, Wei, Zhang, Zhang — "EAGLE-3: Scaling up Inference Acceleration of LLMs", 2025.
• توثيق vLLM الرسمي — Speculative Decoding — docs.vllm.ai.
• NVIDIA Developer Blog / TensorRT-LLM — Speculative Decoding على H200.