Tokenization للمبتدئ: ليه نفس الكلام بالعربي بيتكلف 3x من الإنجليزي على Claude

بستخدام Claude tokenizer عبر الـ API الرسمي، دي مقارنة لجملتين متماثلتين في المعنى:

الأرقام دي على جملة قصيرة. على workload حقيقي قسته على 500 سؤال دعم فني عربي بمتوسط 80 كلمة للسؤال:

• إجمالي توكنز الإدخال بالعربي: 92,400 توكن
• نفس الأسئلة مترجمة للإنجليزي: 28,700 توكن
• النسبة الفعلية: 3.22x
• التكلفة على Sonnet 4.6 (input @ $3/M): $0.28 عربي مقابل $0.09 إنجليزي
• على scale 1M سؤال شهريًا: $560 مقابل $172. الفرق $388 شهريًا على نفس الـ workload.

ليه ده بيحصل تحديدًا؟

3 أسباب تقنية مجتمعة:

1. توزيع dataset التدريب: الـ tokenizer اتدرب على نصوص أغلبها إنجليزية. الكلمات العربية الشائعة ما كانتش بنفس التكرار، فما اتدمجتش في توكنز كاملة.
2. UTF-8 encoding: الحرف الإنجليزي بايت واحد، الحرف العربي بايتين. ده بيضاعف عدد البايتات الخام قبل ما الـ BPE يبدأ شغله.
3. التشكيل والمدّات: لو فيه تشكيل في النص (فتحة، ضمة، شدة)، كل علامة تشكيل بتاخد توكن منفصل تقريبًا. النصوص القرآنية المشكّلة ممكن توصل لـ 5x.

إزاي توفّر فلوس فعليًا — 4 خطوات بترتيب الـ ROI

1. شيل التشكيل من النصوص قبل ما تبعتها للموديل، لو مش ضروري للمعنى. توفير فوري 15% إلى 25%. كود من سطرين بـ regex.
2. استخدم Prompt Caching للـ system prompts الطويلة بالعربي. التكلفة بتنزل 90% على القراءة بعد أول طلب. ده بيغطّي على معظم تكلفة العربي تلقائيًا.
3. اختصر الـ system prompt. كل كلمة عربية زيادة بتساوي 3 أو 4 توكن. لو شيلت 100 كلمة حشو، بتوفر 350 توكن في كل request.
4. فكّر في الإنجليزي للـ system prompt فقط. خلي تعليماتك للموديل بالإنجليزي والمحادثة مع المستخدم بالعربي. الموديل بيفهم الاتنين بنفس الكفاءة، والـ system prompt هو الجزء اللي بيتبعت في كل request.

الـ Trade-offs اللي لازم تنتبه لها

تحويل النصوص للإنجليزي قبل البعت مش حل مجاني. بتكسب 60% من التكلفة، بتخسر 3 حاجات:

• طبقة ترجمة زيادة بتزود الـ latency بـ 200 إلى 500 مللي ثانية لكل request.
• ممكن تضيع context ثقافي مهم في الترجمة (مصطلحات شرعية، تعبيرات محلية، أسماء أعلام).
• بتضيف نقطة فشل تانية في الـ pipeline. لو خدمة الترجمة وقعت، التطبيق كله بيقع.

الحساب البسيط: لو شغلك call center عربي بـ 10K request يومي، توفير 60% بيساوي تقريبًا $180 في اليوم على Sonnet. الـ overhead في latency مقبول لأن المستخدم مستني الرد أصلاً. لو شغلك realtime gaming chat بـ 100ms SLA، الـ overhead ده مش مقبول وأنت في خسارة.

متى لا تستخدم هذه التحسينات

3 حالات الموضوع كله ما يهمكش فيها:

• لو الـ workload بتاعك أقل من 100K توكن في اليوم، الفرق في الفاتورة هيبقى أقل من $1 يوميًا. وقتك أغلى من ده.
• لو بتستخدم Haiku 4.5 ($1/M token)، الفرق بين عربي وإنجليزي ضئيل بالقيمة المطلقة على workloads متوسطة.
• لو شغلك تطبيق طبي أو قانوني أو شرعي، التشكيل والدقة الحرفية للنص الأصلي أهم من توفير $50 شهريًا.

الخطوة التالية

افتح أي script عندك بيكلم Claude، ضيف فيه استدعاء count_tokens على آخر 100 request بعتهم. اطبع المتوسط. لو لقيت العدد أكبر من 500 توكن للـ system prompt الواحد، فيه فرصة توفير حقيقية. ابدأ بشيل التشكيل وتفعيل الـ Prompt Caching الأول، الباقي يستنى.

المصادر

• Anthropic Documentation — Token Counting API: docs.claude.com/en/api/messages-count-tokens
• Anthropic Pricing Page (2026): anthropic.com/pricing
• Stanford CRFM — "All Languages Are NOT Created (Tokenized) Equal" (2023)
• Hugging Face Tokenizers Library Documentation: huggingface.co/docs/tokenizers
• Sennrich et al., "Neural Machine Translation of Rare Words with Subword Units" (BPE, 2016)
• OpenAI tiktoken benchmarks لمقارنة لغات غير الإنجليزية (2024)