مقالات عملية مرتبة حسب المجال والمستوى، اختر المجال المناسب واقرأ من مستوى مبتدئ إلى محترف.
لو بتشغّل Llama 3.1 70B على H100 وبتقيس 32 token/ثانية، أنت بتستخدم 4% بس من قدرة الـ GPU. Speculative Decoding بيرفع الرقم لـ 74 token/ثانية بدون فقدان جودة. مقال للمحترف بمثال مطبخ المطعم، شرح علمي من ورقة Leviathan 2023 (ICML)، إعدادات vLLM 0.7+ شغّالة، أرقام مقاسة على H100 (acceptance rate 0.78 لكود، 0.41 لكتابة إبداعية)، 4 trade-offs خفية في الإنتاج، ومتى Speculative Decoding overhead بدون فايدة.
دليل تنفيذي للمحترف لتفعيل Speculative Decoding في vLLM 0.6.3 على Llama 3.1 70B بنموذج draft من 1B، بيرفع throughput من 38 لـ 91 token/sec على H100 (2.39×) مع نفس output احتمالياً، بـ acceptance rate 73.4% مقاسة على 1,200 طلب عربي.
دليل تنفيذي للمحترف لتفعيل Speculative Decoding على vLLM يرفع throughput Llama 70B من 87 لـ 234 token/s على H100، مع رياضيات rejection sampling، 4 trade-offs خفية، ومتى تكون speculation مضيعة وقت.