Mixture of Experts للمتوسط: ليه DeepSeek-V3 أرخص 37x من GPT-4

اللي بيحصل فعلاً: نفس الذكاء (أو أعلى)، بتكلفة 1/37. ده مش تحسين هامشي. ده تغيير في الاقتصاد الكلي للـ AI inference.

كود تنفيذي: MoE layer من الصفر بـ PyTorch

الكود ده تعليمي ومش محسّن. في الإنتاج، بتستخدم مكتبات زي vLLM أو MegaBlocks أو DeepSpeed-MoE لأنها بتعمل batched routing على مستوى الـ GPU kernels، وبتمنع الـ token dropping اللي ممكن يحصل لما خبير معين يستقبل توكنز أكتر من سعته.

أهم 4 trade-offs لازم تعرفها قبل ما تستخدم MoE

1. الذاكرة عالية جدًا. رغم إن الـ active params قليلة، لازم تحمّل كل الـ 671B في VRAM لأن أي خبير ممكن يتفعّل في أي لحظة. DeepSeek-V3 محتاج 8x H100 80GB (~640GB VRAM إجمالاً) عشان يشتغل في الـ FP8. مكسبك في الـ compute، خسارتك في الـ memory footprint.
2. Load Balancing مش سهل. لو الـ router بيبعت 90% من التوكنز لخبير واحد، باقي الخبراء بتموت من قلة التدريب (expert collapse). بتحتاج auxiliary loss (يسمى load balancing loss) عشان توزيع منتظم. ده تعقيد إضافي وقت التدريب وبيقلل الجودة بنسبة 1-2%.
3. Latency أعلى للـ batch صغير. الـ routing بيضيف overhead حقيقي. لو طلبك واحد بس على GPU واحد، الـ MoE ممكن يكون أبطأ من dense بنسبة 15-25%. المكسب الحقيقي بيظهر مع batch sizes ≥ 16.
4. Fine-tuning أصعب. الخبراء بتبقى متخصصة بشكل ضمني. لو عملت LoRA fine-tune على domain ضيق (مثلاً نصوص قانونية)، بتقع في catastrophic forgetting لباقي الخبراء أو بيتفعّل خبير واحد بس على كل التوكنز.

متى لا تستخدم MoE

• لو بتشغّل موديل محلي على لابتوب أو single GPU 24GB — الذاكرة مش هتكفي. Dense 7B-13B أنسب بكتير.
• لو throughput الإنتاج بتاعك أقل من 5 طلبات/ثانية — overhead الـ routing مش بيتعوّض، والـ Dense هيديك latency أحسن.
• لو بتعمل fine-tuning مكثّف على domain ضيق — Dense أبسط وأنضف وأقل risk للـ expert collapse.
• لو P99 latency ثابت شرط حرج (real-time medical, trading) — MoE فيه تباين أعلى لأن توكنز مختلفة بتمر بخبراء مختلفة بـ latency مختلفة.
• لو الفريق مش جاهز يدير infrastructure معقد — MoE في الإنتاج محتاج expert parallelism وتوزيع GPUs بشكل متقن.

الخطوة التالية

افتح https://platform.deepseek.com، خد نفس prompt اللي بتستخدمه مع GPT-4 Turbo حاليًا، شغّله على DeepSeek-V3، قارن الجودة والتكلفة على 100 طلب فعلي من إنتاجك. لو الجودة مقبولة على use case معين بس (مثلاً تلخيص مستندات، مش code generation)، حوّل ذلك use case فقط للـ MoE وسيب الباقي على Claude/GPT. الانتقال 100% مرة واحدة قرار سيء.

المصادر

• Shazeer et al., "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer"، ICLR 2017 — الورقة المؤسِّسة لـ MoE في الـ deep learning الحديث.
• DeepSeek-AI, "DeepSeek-V3 Technical Report"، arXiv:2412.19437، ديسمبر 2024.
• Mistral AI, "Mixtral of Experts"، arXiv:2401.04088، يناير 2024.
• Fedus, Zoph, Shazeer, "Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity"، JMLR 2022.
• DeepSeek API Pricing Documentation — api-docs.deepseek.com/quick_start/pricing
• vLLM project documentation, MoE serving — docs.vllm.ai