Reranking للمتوسط: ارفع دقة RAG من 64% لـ 91% بـ Cohere Rerank في 38ms

التكلفة: $2 لكل 1,000 search request. لـ 1,400 سؤال يومي = $84 شهرياً. زهيد مقارنة بالـ infra اللي محتاجه لو شغّلت cross-encoder بنفسك على GPU.

الأرقام المقاسة على workload عربي

القياس على 1,400 سؤال دعم فعلي من منصة fintech عربية، corpus = 47K مقطع نص متوسط 380 token:

• Precision@5 قبل rerank: 64.2%
• Precision@5 بعد rerank: 91.4% — تحسّن 27.2 نقطة
• p95 latency قبل: 92ms — بعد: 130ms — زيادة 38ms
• التكلفة الإضافية: $84 شهرياً على 42K request
• CSAT للمستخدم: من 3.7 لـ 4.4 من 5 (قياس بعد 3 أسابيع)
• معدل الـ escalation للموظف البشري: من 18% لـ 7%

4 Trade-offs خفية لازم تعرفها

1. Latency floor: Cohere rerank فيه network round-trip ثابت 30-50ms. لو الـ app بتاعك real-time chat بـ SLA 100ms، الـ 38ms زيادة ممكن تبقى مشكلة. البديل: شغّل bge-reranker-v2-m3 على GPU خاص (latency 8-12ms، بس infra cost ~$220 شهرياً على T4).
2. Top-100 retrieval حساس للجودة: لو الإجابة الصحيحة مش في الـ 100 وثيقة الأولى من vector search، rerank مش هيخترعها. حسّن الـ embeddings والـ chunking قبل ما تضيف rerank.
3. Token limit على كل وثيقة: Cohere Rerank بياخد 4,096 token كحد أقصى لكل وثيقة. مقاطع أطول بتتقطّع. خلّي chunking ≤ 800 token علشان تضمن جودة الـ scoring.
4. Vendor lock-in: Cohere API. لو عايز self-hosted لأسباب compliance أو سيادة بيانات، استخدم bge-reranker-v2-m3 من Hugging Face — quality قريب من Cohere بفارق 2-3 نقاط، latency أحسن، لكن infra cost أعلى وفريق MLOps محتاج.

متى لا تستخدم Reranking

Reranking مش حل لكل حاجة. تجنّبه في الحالات دي:

• Corpus أقل من 500 وثيقة: الـ bi-encoder لوحده كافي. Reranking بيبدأ يفرق فعلاً عند 5K+ وثيقة.
• أسئلة keyword-heavy: لو الأسئلة فيها أرقام، أكواد منتجات، أو أسماء مميزة، BM25 + bi-encoder hybrid بيتفوّق على cross-encoder.
• p95 latency budget أقل من 80ms: فكّر مرتين، وغالباً اختار bge-reranker على GPU بدل Cohere API.
• Corpus بيتغيّر كل دقيقة: Reranking مش بيحل مشكلة freshness. لو الـ data بتاعتك real-time جداً، ركّز على البحث ذاته.

الخطوة التالية

افتح الـ RAG pipeline بتاعك دلوقتي. اعمل eval يدوي على 50 سؤال حقيقي من المستخدمين — شيك precision@5: كام سؤال منهم الإجابة الصحيحة كانت في أول 5 نتائج. لو الرقم أقل من 75%، أضف Cohere Rerank فوق الـ retrieval الحالي بـ 19 سطر اللي فوق، وقارن النتيجة على نفس الـ 50 سؤال. لو التحسّن أقل من 15 نقطة، المشكلة في الـ chunking أو الـ embeddings، مش في الـ rerank.

المصادر

• Nogueira & Cho 2019 — Passage Re-ranking with BERT, arXiv:1901.04085
• Cohere Rerank v3.5 documentation — cohere.com/docs/rerank-2
• Thakur et al. 2021 — BEIR: A Heterogeneous Benchmark for Zero-shot IR, NeurIPS 2021
• bge-reranker-v2-m3 model card — huggingface.co/BAAI/bge-reranker-v2-m3
• Khattab & Zaharia 2020 — ColBERT: Efficient and Effective Passage Search, SIGIR 2020 (للمقارنة مع late interaction)