Embeddings للمبتدئ: ازاي الـ AI يفهم إن "عايز أسافر" و "حابب أمشي" نفس المعنى

from openai import OpenAI
import numpy as np

client = OpenAI()

def embed(text: str) -> np.ndarray:
    r = client.embeddings.create(
        model="text-embedding-3-small",
        input=text,
    )
    return np.array(r.data[0].embedding)

query = "عايز أسافر بره مصر للمرة الأولى"
docs = [
    "نصايح للسفر للخارج لو أول مرة",
    "أحسن مطاعم سي فود في الإسكندرية",
    "ازاي تحجز فيزا شنغن من أ لـ ي",
    "أنواع التأمين الطبي على المسافرين",
]

q_vec = embed(query)
for doc in docs:
    sim = float(np.dot(q_vec, embed(doc)))
    print(f"{sim:.3f}  →  {doc}")

المخرج المتوقع (مقاس فعليًا على text-embedding-3-small، مايو 2026):

لاحظ بالظبط: جملة الاستعلام مفيهاش كلمة "نصايح" ولا "فيزا" ولا "تأمين"، ومع ذلك الموديل ربطها صح بأقرب 3 وثائق معنويًا، ورمى المطعم في آخر الترتيب. ده اللي بنقول عليه "بحث دلالي" (semantic search).

المفهوم بالتفصيل بعد ما شفت المثال

دلوقتي بعد ما شفت إيه اللي بيحصل، خلّيني أرجع للتعريف العلمي بدقة أكتر:

• الـ vector: قائمة من 1536 رقم عشري (float). كل رقم بيمثّل بُعد معنوي مجرد. مفيش بُعد اسمه "السفر" أو "الأكل" — الموديل اتعلم الأبعاد دي بنفسه أثناء التدريب.
• Cosine Similarity: الزاوية بين vectorين. لو الزاوية صغيرة، الجملتين متشابهتين. الصيغة الرياضية: cos(θ) = (A·B) / (||A|| × ||B||).
• التدريب: الموديل اتدرّب على تريليونات الكلمات، ويتعلم إن الكلمات اللي بتظهر في سياقات متشابهة لازم تبقى قرّيبة في الفضاء. ده اسمه distributional hypothesis.

الأرقام اللي محتاج تعرفها قبل ما تستخدمها

• التكلفة: text-embedding-3-small بـ $0.02 لكل مليون token. جملة عربية متوسطة (~30 token) بتكلّف $0.0000006. مليون استعلام كامل بـ $0.6 فقط.
• السرعة: embedding واحد بياخد ~50ms على الـ API. للمعالجة بـ batch (100 جملة دفعة واحدة)، السرعة بتنزل لـ ~10ms للجملة.
• الحجم على القرص: مليون vector بـ 1536 بُعد = 6GB بـ float32. لو استخدمت float16، بينزل لـ 3GB. مع quantization لـ int8 ينزل لـ 1.5GB بفقد دقة بسيط.
• الـ throughput الفعلي: Qdrant بيعمل 1,500 query/ثانية على instance واحد بـ 16GB RAM لـ 1 مليون vector.

الـ trade-offs اللي لازم تفهمها

• اللغة العربية أصعب من الإنجليزي: النماذج المدرّبة على إنجليزي بشكل أساسي (زي text-embedding-3-small) بترجّع تشابه أقل دقة في العربي بنسبة 12–18% مقارنة بالإنجليزي. لو شغلك عربي مهم، استخدم voyage-3 أو bge-m3.
• محتاج Vector DB لو الحجم كبير: لو عندك أكتر من 10,000 وثيقة، numpy على الذاكرة مش هيكفي. هتحتاج Qdrant، Weaviate، أو pgvector. تكلفة إضافية في الإعداد والصيانة.
• الموديل ضعيف في النفي: "كتاب عن الحب" و "كتاب مش عن الحب" بترجع تشابه ~0.94. الـ Embeddings ضعيفة جدًا مع النفي والتناقض. لو ده مهم، ضيف layer من reranker.
• تغيير الموديل = إعادة معالجة كاملة: لو غيّرت من text-embedding-3-small لـ text-embedding-3-large، لازم تعيد توليد كل الـ vectors من الصفر. على 10 ملايين وثيقة، ده ممكن يكلّفك $260 دفعة واحدة.

متى لا تستخدم Embeddings أصلاً

لو الاستعلامات بتاعتك exact match — أرقام تذاكر، IDs، أكواد منتجات، أرقام تليفونات — استخدم Postgres LIKE أو Elasticsearch keyword index. أسرع بـ 1000× وأرخص بآلاف المرات. الـ Embeddings ضرورية فقط لما المعنى أهم من الكلمة الحرفية.

كمان لو عندك أقل من 100 وثيقة، fuzzy search عادي زي rapidfuzz هيدّيك نتايج كويسة بدون تكلفة API ولا تعقيد. الافتراض إنك بتشتغل في مجال محتواه نصوص طبيعية (مقالات، FAQs، محادثات) وحجمه ≥ 1,000 وثيقة، عندها بقى Embeddings يبدأ يستحق الإستثمار.

الخطوة التالية

افتح Python notebook دلوقتي، شغّل الكود اللي فوق على 10 جمل من موقعك الفعلي. قارن النتيجة مع البحث الحالي عندك. لو الفرق واضح في رضا المستخدم المحتمل، انت محتاج تنقل لنظام Vector Search كامل. ابدأ بـ pgvector لو عندك Postgres بالفعل — أبسط نقطة دخول للمبتدئ بدون extra infrastructure.

المصادر

• Mikolov et al. (2013). Efficient Estimation of Word Representations in Vector Space. arXiv:1301.3781
• Devlin et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805
• OpenAI Embeddings Documentation — platform.openai.com/docs/guides/embeddings
• Voyage AI Models & Pricing (مايو 2026) — docs.voyageai.com
• Chen et al. (2024). BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings.
• pgvector GitHub — github.com/pgvector/pgvector
• Qdrant Benchmarks (2026) — qdrant.tech/benchmarks