لو فاتورتك على OpenAI أو Anthropic بقت ضعف اللي توقعتها رغم إن طول النصوص اللي بتبعتها هو نفسه، السبب غالبًا مش الموديل ولا عدد الـ requests. السبب إن النص العربي بياكل توكنز أكتر بكثير من نفس الكلام بالإنجليزي، في المتوسط 3 إلى 5 أضعاف. وده مش عيب في الـ API، ده نتيجة طبيعية لطريقة اسمها BPE Tokenization.

المستوى: مبتدئ — هذا المقال يفترض إنك سمعت عن ChatGPT أو Claude، وعرفت إن في حاجة اسمها "توكنز" بتتحاسب عليها، لكن مش متأكد ليه نفس الجملة بتكلفك مختلف بالعربي والإنجليزي. لو إنت محترف وعارف الـ BPE من ورقة Sennrich، المقال ده مش ليك.

Tokenization: المفهوم الخفي اللي بيحدد فاتورتك على ChatGPT

المشكلة باختصار

لو بعتت لـ GPT-4 جملة I love programming، الموديل بيشوفها 4 توكنز فقط. لو بعتته نفس المعنى بالعربي أنا أحب البرمجة، بيشوفها 11 توكن. نفس الفكرة، فاتورة 2.75x أعلى. ولو الجملة فيها كلمات قليلة الاستخدام في بيانات التدريب زي استبشر أو اقشعرّ، الكلمة الواحدة لوحدها ممكن تاكل 5 توكنز.

الـ trade-off هنا واضح: أنت بتستخدم نموذج اتبنى أساسًا على نصوص إنجليزية، فبتدفع ضريبة لغوية على كل request. الافتراض إن فاتورتك بتعدّي $100 شهريًا — لو أقل من كده، الفرق مش هيستاهل وقتك أصلًا.

تخيّل آلة فرز العملة المعدنية أولاً

تخيّل صندوق عملات معدنية فيه فئات مختلفة: 1 جنيه، 5 جنيه، 10 جنيه، 20 جنيه. وعندك ماكينة فرز قديمة عارفة الفئات الشائعة وبتفرزها بسرعة. لو حطيت فيها 200 جنيه على شكل عملات 20، الماكينة بتفرزهم في 10 خطوات بس. لو حطيت نفس المبلغ على شكل عملات 1 جنيه، نفس النتيجة بس بـ 200 خطوة.

الـ Tokenizer في GPT أو Claude شغال بالظبط زي الماكينة دي. عنده "قاموس فئات" حجمه حوالي 100,000 إلى 200,000 قطعة. الكلمات الإنجليزية الشائعة زي the، love، code موجودة في القاموس كقطعة واحدة (توكن واحد). الكلمات العربية مش موجودة كاملة في القاموس، فبيقسّمها لقطع أصغر. أحيانًا الحرف الواحد بيتقسّم لاثنين بايت لو ما كانش في الترميز الأساسي.

التعريف العلمي بدقة: Byte Pair Encoding

الـ Byte Pair Encoding (اختصارًا BPE) خوارزمية ضغط نشرها Philip Gage سنة 1994 لاستخدامات عامة في الضغط. فريق OpenAI طوّعها سنة 2019 في موديل GPT-2 لتقطيع النص. الفكرة في 3 خطوات:

1. الانطلاق من الحروف: ابدأ بقاموس فيه كل حرف منفرد (a, b, c, …، أ, ب, ت, …).
2. دمج الأزواج الأكثر تكرارًا: امسح الـ corpus، وحدّد أكثر زوج بايتات متجاورة شيوعًا، وضمّه كقطعة واحدة. مثلاً t + h بيبقى th لأنه شائع جدًا.
3. كرّر العملية: لمدة 50,000 إلى 200,000 مرة، لحد ما يكون عندك قاموس بحجم ثابت.

الـ corpus اللي اتدرّب عليه GPT-2 و GPT-3 كان حوالي 95% إنجليزي. النتيجة المنطقية: القاموس النهائي بيكون منحاز لتمثيلات إنجليزية. الكلمة العربية استبشر ما ظهرتش كافي في الـ corpus، فالـ tokenizer بيقسّمها على الأرجح لـ ["است", "ب", "ش", "ر"] أو حتى لبايتات منفردة. النتيجة المؤلمة: 4 إلى 5 توكنز لكلمة واحدة.

قياس فعلي بالكود — انسخ وشغّل

الكود ده بيشتغل على Python 3.9+ مع مكتبة tiktoken الرسمية من OpenAI. ركز إن الأرقام اللي هتطلع عندك هتكون مطابقة بالظبط للأرقام في الفاتورة الفعلية:

# pip install tiktoken
import tiktoken

enc = tiktoken.encoding_for_model("gpt-4")

en_text = "Artificial intelligence is changing the world"
ar_text = "الذكاء الاصطناعي يغير العالم"

print(f"English tokens: {len(enc.encode(en_text))}")
# ➜ English tokens: 7

print(f"Arabic tokens : {len(enc.encode(ar_text))}")
# ➜ Arabic tokens : 25

# نشوف الكلمة لوحدها كام توكن
print(enc.encode("استبشر"))
# ➜ [38641, 11254, 26193, 14860]  (4 توكنز لكلمة واحدة)

نفس المعنى، 7 توكنز إنجليزي مقابل 25 عربي. النسبة 3.57x. على مشروع بيدفع $500 شهريًا في API، الفرق $1,285 سنويًا فقط بسبب اختيار اللغة. ده رقم تقديري مبني على فرضية إن 100% من الترافيك عربي وإن الـ output نفس نسبة الـ input.

أرقام حقيقية من قياسات منشورة

• الإنجليزي: توكن واحد ≈ 4 حروف ≈ 0.75 كلمة (مصدر: OpenAI Tokenizer Docs).
• العربي: توكن واحد ≈ 1.2 حرف ≈ 0.2 كلمة (مصدر: ورقة AraGPT2, Antoun et al. 2021).
• الفرنسي: توكن ≈ 0.6 كلمة (أحسن من العربي، أسوأ من الإنجليزي).
• الياباني: توكن ≈ 0.9 حرف، أرخص من العربي بشكل مفاجئ.
• ورقة Petrov et al. NeurIPS 2023: فجوة التكلفة بين الإنجليزي ولغات منخفضة الموارد بتوصل لـ 15x في حالات نادرة.

Trade-offs: بتكسب إيه وبتخسر إيه لما تفهم Tokenization

المكسب الأول: توفير 30% إلى 60% من فاتورة API بإعادة صياغة الـ prompts. مثال عملي: استخدم تعليمات system prompt بالإنجليزي والـ user content بالعربي، التوفير الفعلي بين 25% و 45% على ورك لود متوسط.

المكسب الثاني: تقدر تحسب tokens قبل الإرسال، وتقطّع الـ context بدقة بدل ما تكسر الموديل بـ overflow.

التكلفة الأولى: النماذج العربية الأصلية زي Jais-30B أو AceGPT أرخص في الـ tokenization بس أقل قدرة من GPT-4 في الـ reasoning المعقد. التوفير ممكن ييجي على حساب جودة الإجابة.

التكلفة الثانية: لو تطبيقك بيتعامل مع نص مختلط (عربي + إنجليزي + كود)، حسابات الـ tokens بتبقى تقديرية مش دقيقة. ده هيخلي budget الـ context عندك يتحط بهامش أمان 20%.

متى لا تركّز في الموضوع ده أصلاً

لو حجم استخدامك أقل من $50 شهريًا على الـ API، الفرق هيكون $20 تقريبًا. وقتك في إعادة هندسة الـ prompts أغلى من المبلغ ده. كمان لو شغلك في domain حساس (طب، قانون، مالية)، GPT-4 الكامل بفلوسه أرخص بكتير من غلطة موديل عربي أصغر بياخد قرار ناقص. الافتراض هنا إن غلطة واحدة في القرار بتكلف أكتر من $1000، وده شائع في المجالات دي.

الخطوة التالية

افتح https://platform.openai.com/tokenizer دلوقتي، الصق فيه آخر prompt كبير بعتته في تطبيقك. لو لقيته بياخد أكتر من 800 توكن، جرّب اختصاره بإعادة الصياغة، أو حوّل التعليمات الثابتة لإنجليزي وسيب بيانات المستخدم بالعربي. قارن الفرق وطبّقه على أكبر 3 prompts عندك. لو الفرق طلع أكبر من 30%، إنت كسبان فعلاً.

المصادر

• Sennrich, R., Haddow, B., & Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." ACL 2016. (الورقة المؤسِّسة لاستخدام BPE في NLP الحديث).
• Antoun, W., Baly, F., & Hajj, H. (2021). "AraGPT2: Pre-Trained Transformer for Arabic Language Generation." WANLP 2021.
• Petrov, A., et al. (2023). "Language Model Tokenizers Introduce Unfairness Between Languages." NeurIPS 2023.
• Gage, P. (1994). "A New Algorithm for Data Compression." The C Users Journal. (الخوارزمية الأصلية للـ BPE).
• OpenAI Tokenizer (الأداة الرسمية): https://platform.openai.com/tokenizer
• tiktoken — مكتبة OpenAI الرسمية: https://github.com/openai/tiktoken
• Anthropic Token Counting Docs: https://docs.anthropic.com/en/docs/build-with-claude/token-counting