هذا المقال للمستوى المبتدئ.
لو فاتورتك على Claude API طلعت أعلى من المتوقع رغم إن استخدامك بسيط، المشكلة غالبًا مش في النموذج. المشكلة في حاجة اسمها Tokenization، واللغة العربية فيها بتكلّفك حوالي 2 إلى 3 أضعاف نفس الجملة بالإنجليزي. في المقال ده هتعرف ليه ده بيحصل، إزاي تقيسه بنفسك في 8 سطور Python، وامتى يستاهل تتعب عشان تحسّنه.
المشكلة باختصار
تخيّل إنك دخلت مطعم بيحاسبك مش على عدد الأطباق اللي طلبتها، لكن على عدد اللُّقم اللي بتاكلها. لو الأكل مقطّع بقطع كبيرة، هتدفع أقل. لو نفس الأكل اتقطّع لقطع صغيرة جدًا، الفاتورة هتطلع أكتر بكتير رغم إنك أكلت نفس الكمية.
Claude بيشتغل بالظبط بالطريقة دي. النموذج مش بيشوف كلمات ولا حروف. هو بيشوف "tokens" — وحدات نصية صغيرة بيتقسّم النص ليها قبل ما يوصله. والـ tokenizer (الأداة اللي بتعمل التقسيم ده) في Claude اتدرّبت أساسًا على نصوص إنجليزية، فبتقسّم العربي لـ tokens أصغر بكتير من الإنجليزي.
الفرضية اللي بنبني عليها الكلام
الأرقام في المقال ده مقاسة على Claude Sonnet 4.6 في مايو 2026 باستخدام anthropic SDK 0.45+ على Python 3.11. الـ tokenizer بيتطوّر مع كل جيل، فالنسبة ممكن تتحسّن في إصدارات قادمة. لو Anthropic ضافت دعم أحسن للعربي في الـ vocabulary، الفرق هيقل لكن مش هيختفي قريب.
الأرقام اللي بتغيّر الصورة
خد الجملتين دول كمثال مباشر:
- "Hello, how are you today?" — 7 tokens
- "مرحبًا، كيف حالك اليوم؟" — 18 tokens
نفس المعنى بالظبط. نفس الفائدة للنموذج. لكن العربي بيكلّفك 2.5 ضعف. على chatbot دعم فني بيتعامل مع 50,000 رسالة عربية شهريًا بمتوسط 80 token لكل request + response، الفرق بين العربي والإنجليزي بيطلع حوالي $180 شهريًا على نفس الاستخدام الفعلي.
قِيس بنفسك في 8 سطور Python
قبل ما تصدّق أي رقم في أي مقال، قيس بنفسك على المحتوى بتاعك. الكود ده شغّال مباشرة:
import anthropic
client = anthropic.Anthropic()
def count_tokens(text: str) -> int:
response = client.messages.count_tokens(
model="claude-sonnet-4-6",
messages=[{"role": "user", "content": text}],
)
return response.input_tokens
print(count_tokens("Hello, how are you today?"))
print(count_tokens("مرحبًا، كيف حالك اليوم؟"))
الـ API ده اسمه count_tokens ومش بيتحاسب على tokens، يعني تقدر تستخدمه براحتك في كل اختباراتك. جرّبه على الـ system prompt بتاعك قبل ما تروح production، هتتفاجأ بحجم الـ tokens اللي بتدفع تمنها كل request.
