Vector Embeddings للمبتدئ: ليه الـ AI بيفهم إن "كلب" و"جرو" متشابهين

الناتج المتوقّع (مقاس على نموذج multilingual-e5-small):

لاحظ إن "كلب" و"جرو" أقرب لبعض من "كلب" و"سيارة". الأرقام كلها فوق 0.7 لأن النموذج multilingual بيعتبر إن أي جملة عربية فيها قُرب لغوي أساسي. ده طبيعي مع نماذج e5 المتعددة اللغات. لو عايز فروقات أوضح، استخدم multilingual-e5-large أو BGE-M3 وهتلاقي الفروقات بتتسع.

فين هتحتاج ده فعلاً

• البحث الدلالي (Semantic Search): المستخدم يكتب "ازاي أوقف الاشتراك" والنظام يلاقي مقال عنوانه "إلغاء العضوية" بدون كلمات مشتركة.
• RAG (Retrieval-Augmented Generation): قبل ما تسأل LLM زي Claude، تجيب أقرب 5 وثائق من قاعدة المعرفة بناءً على الـ embeddings.
• التوصيات: مستخدم اشترى منتج، توصّيله بالمنتجات اللي embeddings أوصافها أقرب.
• كشف التكرار: مقالين مكتوبين بأسلوب مختلف لكن نفس الموضوع، embeddings قريبة، يعني تكرار.
• تصنيف النوايا (Intent Classification): رسائل العملاء تتصنّف لـ "شكوى" أو "استفسار" أو "طلب استرجاع" بقُرب المعنى من جملة مرجعية.

الـ Trade-offs الأربعة اللي لازم تعرفهم

1. التخزين: كل وثيقة بمتجه 1,536 رقم عشري (float32) = 6KB تقريباً. مليون وثيقة = 6GB في الذاكرة. لازم vector database زي Qdrant أو Pinecone أو pgvector، مش هتعمله بـ NumPy array لو وصلت لـ 100K وثيقة.
2. وقت الـ Encoding: نموذج e5-small بيشتغل حوالي 800 جملة/ثانية على CPU عادي، لكن نموذج e5-large أبطأ 4 مرات. لازم توازن بين الدقة والسرعة حسب الـ workload.
3. اللغة: النماذج العربية النقية (زي Arabic-BERT) أحسن في الدقة على نصوص عربية بحتة، لكن المتعددة اللغات بتديك مرونة لو عندك خليط عربي/إنجليزي. e5 و BGE-M3 بيدعموا العربية بدرجة محترمة.
4. التحديث: لو غيّرت النموذج، لازم تعيد encoding للـ database كلها. مع ملايين الوثائق، ده عملية مكلفة وقت ومال. اختار النموذج بعناية من البداية.

متى لا تستخدم Embeddings

مش كل مشكلة محتاجة embeddings. الحالات اللي ما تنفعش فيها:

• البحث عن أكواد منتجات أو IDs أو أرقام: "ابحث عن المنتج SKU-A4521"، استخدم البحث النصي العادي (full-text search). الـ embeddings هتديك نتائج عشوائية.
• قواعد بيانات صغيرة (أقل من 500 وثيقة): SQLite + LIKE أو Postgres tsvector كافي تماماً. تكلفة الـ embeddings مش مبررة.
• مطابقة دقيقة: "اعرضلي كل الفواتير في 2026-04-12"، ده شغل WHERE clause في SQL، مش embeddings.
• محتوى متغيّر باستمرار: أخبار live بتتحدث كل ثانية، تكلفة الـ re-embedding عالية جداً مقارنة بالفايدة.

المصادر

• Mikolov et al., "Efficient Estimation of Word Representations in Vector Space" (Word2Vec) — arXiv:1301.3781
• Wang et al., "Text Embeddings by Weakly-Supervised Contrastive Pre-training" (E5) — arXiv:2212.03533
• توثيق sentence-transformers الرسمي — sbert.net
• نموذج multilingual-e5-small — huggingface.co/intfloat/multilingual-e5-small
• BGE-M3 multilingual embeddings — huggingface.co/BAAI/bge-m3
• Pgvector documentation — github.com/pgvector/pgvector

الخطوة التالية

افتح Google Colab، نزّل sentence-transformers، شغّل الكود اللي فوق على 100 جملة من بيانات شركتك (FAQ، عناوين مقالات، أوصاف منتجات)، وقارن بين أزواج الجمل بـ cosine similarity. لو الأرقام منطقية (المتشابه أعلى من 0.85 والمختلف تحت 0.75)، ابدأ تجرّب pgvector أو Qdrant علشان تخزّن embeddings 10 آلاف وثيقة وتعمل بحث دلالي حقيقي. لو الأرقام شكلها غريب، جرّب نموذج أكبر زي e5-large أو BGE-M3 قبل ما تستسلم.