المدونة
مقالات عملية مرتبة حسب المجال والمستوى، اختر المجال المناسب واقرأ من مستوى مبتدئ إلى محترف.
Speculative Decoding للمحترف: ولّد توكنز LLM أسرع 3x بنفس الجودة
لو Llama 3 70B عندك بيولّد 32 توكن/ثانية على A100، الـ GPU مش مشغول حسابيًا. المشكلة memory bandwidth، والحل اسمه Speculative Decoding بيرفع المعدل لـ 91 توكن/ثانية بدون تغيير في الموديل ولا خسارة جودة. مقال للمحترف بمثال لجنة المراجعة للمبتدئ، تعريف علمي من ورقة Leviathan ICML 2023، كود vLLM 0.7+ شغّال، أرقام مقاسة من إنتاج، 4 trade-offs، وحالات لا تستخدمه فيها أصلاً.
Reranking للمحترف: ليه RAG بترجع نتيجة غلط رغم Embeddings ممتازة
لو الـ RAG بتاعك Recall@10 عنده 92% بس الإجابة الأولى غلط نص الوقت، المشكلة مش في الـ Embeddings. المشكلة إنك بتعتمد على bi-encoder لوحده وفايتك خط دفاع تاني اسمه Cross-encoder Reranking. مقال للمحترف بمثال لجنة التحكيم للمبتدئ، تعريف علمي للـ cross-attention، كود BGE-reranker شغّال، أرقام مقاسة من BEIR (NDCG@10 من 0.61 لـ 0.78)، 4 trade-offs، ومتى الـ reranker بيضرّك مش بينفعك.
