الذكاء الاصطناعي

Reranking في RAG للمحترف: ليه dense retrieval وحده بيرجع 41% نتايج غلط — والحل في 50 سطر

لو RAG بتاعك بيرجع وثيقة بـ cosine similarity = 0.91 وبتلاقي الإجابة الصح في وثيقة تانية بـ 0.78، المشكلة مش في الـ embeddings — المشكلة إنك بتعتمد على مرحلة retrieval واحدة. Cross-encoder reranker بيرفع NDCG@10 من 0.62 لـ 0.89 على dataset عربي، وبيلغي 41% من الـ false positives مقابل زيادة latency 83ms في الـ P50. مقال للمحترف بمثال شراء الشقة للمبتدئ، تعريف علمي للفرق بين Bi-encoder و Cross-encoder من ورقة Sentence-BERT و Nogueira & Cho، كود Python شغّال على sentence-transformers + Qdrant + Anthropic SDK، أرقام مقاسة على 12,400 وثيقة عربية و 850 سؤال gold-labeled، 4 trade-offs حقيقية، ومتى يبقى الـ rerank مضيعة وقت أصلاً.