المستوى المطلوب: متوسط — يفترض إنك تعرف أساسيات البحث الدلالي (embeddings) وجرّبت RAG أو بحث متجهات مرة على الأقل.
إعادة الترتيب (Reranking): ليه أفضل 5 نتائج بحثك مش الأفضل فعلاً
لو بتعرض أفضل 5 نتائج من بحث دلالي أو RAG وهي مش دقيقة، المشكلة غالباً مش في الـ embeddings. طبقة إعادة ترتيب (Reranking) فوق نتائجك بترفع جودة الترتيب بشكل ملموس مقابل زمن بسيط لكل استعلام. ركز في السطور الجاية على الفرق بالظبط بين "استرجاع سريع" و"ترتيب دقيق".
المشكلة باختصار
بحث المتجهات (bi-encoder) بيحوّل السؤال والمستند كل واحد لوحده لمتجه، وبعدين بيقارن بالتقارب (cosine similarity). ده سريع جداً لأنه بيحسب متجهات المستندات مقدماً ويخزّنها. لكنه بيضغط كل مستند في متجه واحد قبل ما يشوف سؤالك أصلاً، فبيضيّع تفاصيل التطابق الدقيقة. النتيجة اللي بتحصل فعلاً: المستند الأنسب لسؤالك بيطلع أحياناً في المركز السابع مش الأول.
مثال قبل الشرح العلمي
تخيّل لجنة توظيف قدّامها 1000 سيرة ذاتية. مستحيل تعمل مقابلة لكل واحد. فبتفلتر بسرعة بكلمات مفتاحية وتطلّع 50 مرشح مبدئي. الفلترة السريعة دي هي الـ bi-encoder: رخيصة وواسعة، بس تقريبية. القرار النهائي محتاج مقابلة تقارن كل مرشح بالوظيفة وجهاً لوجه. المقابلة دي هي الـ cross-encoder: غالية، بس بتشوف التفاعل الحقيقي بين المرشح والوظيفة. الفكرة إنك تستخدم الفلترة الرخيصة للتصفية الأولية الواسعة، والمقابلة الغالية للـ 50 اللي فضلوا بس.
الشرح العلمي: bi-encoder مقابل cross-encoder
الـ bi-encoder بينتج متجهين منفصلين: واحد للسؤال وواحد للمستند، والدرجة هي التقارب بينهم. عشان المتجهات مستقلة، تقدر تحسب متجهات ملايين المستندات مسبقاً وتبحث فيها في مللي ثانية. الـ cross-encoder مختلف: بيدخّل السؤال والمستند مع بعض في نفس المحوّل (Transformer) وبيطلّع درجة relevance واحدة. لأنه بيشوف النصين مع بعض، بيلتقط التفاعل الدقيق اللي الـ bi-encoder بيضيّعه. الثمن: لازم forward pass كامل لكل زوج (سؤال، مستند)، يعني ميصلحش تبحث بيه في الملايين — بس مثالي إنك تعيد ترتيب أفضل 50 أو 100 مرشح فقط.
الحل: خط أنابيب من مرحلتين
بدل ما تختار بين السرعة والدقة، اجمعهم في نمط "retrieve then rerank": استرجع أفضل 100 مرشح بالـ bi-encoder السريع، وبعدين أعد ترتيبهم بالـ cross-encoder وخُد أفضل 5.
- استرجاع واسع وسريع: الـ bi-encoder يجيب top-100.
- ترتيب دقيق: الـ cross-encoder يسجّل كل زوج (سؤال، مستند).
- خُد أفضل 5 بعد الترتيب التنازلي.
from sentence_transformers import SentenceTransformer, CrossEncoder
# 1) استرجاع سريع: bi-encoder يجيب أفضل 100 مرشح
retriever = SentenceTransformer("all-MiniLM-L6-v2")
query = "كيف أوقف تسريب الذاكرة في Node.js؟"
q_emb = retriever.encode(query)
candidates = vector_search(q_emb, top_k=100) # ترجع نصوص المستندات
# 2) إعادة ترتيب دقيقة: cross-encoder يسجّل كل زوج (سؤال، مستند)
reranker = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = reranker.predict([(query, doc) for doc in candidates])
# 3) رتّب تنازلياً وخُد أفضل 5
ranked = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)
top5 = [doc for doc, _ in ranked[:5]]
