Embeddings للمبتدئين: إزاي الـ AI بيحوّل الكلام لأرقام بيفهمها

كود Python شغّال — جربه دلوقتي

الكود ده بيستخدم OpenAI SDK ويحسب التشابه بين 3 جمل عربية. كل اللي محتاجه هو تثبيت openai و numpy.

المخرج المتوقع تقريبًا (الأرقام بتختلف قليلاً بين الإصدارات):

شايف الفرق؟ الكمبيوتر مش لازم يعرف اللغة العربية بمعنى أنه يقرأ ويفهم زينا، هو فاهم العلاقة من تمثيل الأرقام اللي اتدرب عليها على مليارات الجمل.

التكلفة والحجم في الإنتاج

قياس واقعي على text-embedding-3-small من OpenAI (تسعير أبريل 2025):

• التكلفة: 0.02 دولار لكل مليون توكن مدخل
• حجم الـ vector الافتراضي: 1536 رقم (يقدر يتقلل لـ 256 بـ Matryoshka Representation بدون خسارة دقة كبيرة)
• السرعة: حوالي 50 vector في الثانية لما تستخدم batch API
• الذاكرة: كل vector بـ float32 = 6 KB تقريبًا

يعني لو عندك 10K مقال متوسطها 500 كلمة، التكلفة الكاملة لتعميل embedding ليهم: أقل من 15 سنت أمريكي. الـ embedding مش هي اللي هتفلسك، الـ generation هي اللي ممكن تكلفك.

فين بتستخدمها فعلًا في الإنتاج؟

1. Semantic Search: بحث بالمعنى مش بالكلمات، زي اللي شغّال جوه Notion و Linear.
2. RAG: جلب الـ chunks المرتبطة بسؤال المستخدم قبل ما تبعتها للنموذج.
3. Recommendation: منتجات أو مقالات شبيهة لاللي القارئ بيقراه.
4. Clustering: تجميع تذاكر دعم بنفس المشكلة تلقائيًا بدون قواعد يدوية.
5. Deduplication: اكتشاف نصوص متطابقة دلاليًا حتى لو الصياغة مختلفة.
6. Anomaly Detection: رصد جملة شاذة عن سياق محادثة الدعم الفني.

Trade-offs لازم تكون عارفها

الـ Embeddings مش رصاصة فضية. الافتراض الأساسي إن نموذج الـ embedding اتدرب على نصوص قريبة من اللي عندك. لو شغلك على نصوص طبية متخصصة جدًا، أو لهجة عامية مصرية بحتة، أو أكواد برمجية، النماذج العامة هتجيبلك دقة أقل من المتوقع. الحل في الحالات دي: استخدم نماذج متخصصة (BioBERT للطبي، CodeBERT للكود)، أو fine-tune embedding model على بياناتك.

كمان، الـ vectors بتاخد storage معتبر. مليون vector بـ 1536 dimension = حوالي 6 GB في الذاكرة. لو عندك مليار وثيقة، محتاج Vector Database محترف زي Qdrant أو pgvector مع HNSW index، مش بس ملف pickle. الـ trade-off هنا: بتكسب دقة دلالية، بتدفع تكلفة بنية تحتية.

متى لا تستخدم Embeddings

• البحث عن أسماء أو IDs دقيقة. "اعرضلي order #45982" — استخدم SQL أو BM25 مباشرةً، الـ embedding هيضيع وقتك.
• المطابقة الحرفية. بحث في كود برمجي على اسم function معين، أو SKU منتج.
• قواعد بيانات صغيرة (أقل من 1000 سجل). الكلاسيكي أرخص وأسرع وأبسط للصيانة.
• متطلبات real-time صارمة (أقل من 10ms). embedding وحده بياخد 50-100ms، فحساس وقتيًا مش هيفلح إلا بـ caching ذكي.
• محتوى يتغير كل ثانية. تكلفة إعادة الـ embedding بتاكل أي مكسب من البحث الدلالي.

الخطوة التالية

افتح الـ terminal دلوقتي، ثبّت openai و numpy، وجرب الكود اللي فوق على 5 جمل من شغلك الفعلي. شوف الأرقام بنفسك. لما تتأكد إن المفهوم واضح، انتقل لمقال Hybrid Search في RAG اللي بيشرح إزاي تدمج Embeddings مع BM25 لتحسين دقة البحث في الإنتاج بشكل ملموس.

المصادر

• OpenAI Embeddings Documentation: platform.openai.com/docs/guides/embeddings
• Anthropic Embedding Recommendations: docs.anthropic.com/en/docs/build-with-claude/embeddings
• Mikolov et al., "Efficient Estimation of Word Representations in Vector Space", 2013 (ورقة Word2Vec الأصلية).
• MTEB Leaderboard لمقارنة نماذج الـ embedding على مهام مختلفة: huggingface.co/spaces/mteb/leaderboard
• Kusupati et al., "Matryoshka Representation Learning", NeurIPS 2022 (أساس تقليل أبعاد الـ vectors بدون خسارة دقة).