ليه الذكاء الاصطناعي بيغلط في عدّ حروف كلمة زي strawberry؟

اسأل ChatGPT: كلمة strawberry فيها كام حرف r؟ كتير بيرد بـ 2 وهي 3. ده مش غباء ولا عطل في النموذج. السبب إن النموذج أصلاً مبيشوفش الحروف زيّك. في السطور الجاية هتفهم بالظبط ليه بيحصل ده، وإمتى المشكلة تأثّر على شغلك فعلاً، وإمتى متشغلش بالك خالص.

المشكلة باختصار

النموذج اللغوي مبيتعاملش مع النص حرف بحرف. بيقسّم الكلام لوحدات اسمها توكنز (tokens)، وكل توكن ممكن يكون كلمة كاملة، أو جزء من كلمة، أو حتى علامة ترقيم. لما الحروف بتبقى "ملزوقة" جوّه توكن واحد، النموذج بيشوف القطعة كلها كوحدة، مش كحروف منفصلة. عشان كده مهمة زي "عدّ حرف معيّن" بتبقى صعبة عليه، مش لأنه ضعيف، لكن لأن المعلومة دي مش قدّامه أصلاً.

مثال بسيط الأول: كتاب اللزقات

تخيّل إنك بتقرا كتاب متكتبش بالحروف، لكن بلزقات جاهزة. كل لزقة عليها مقطع كامل زي «مدر» و«سة». إنت بتركّب الكلام من اللزقات دي، وعينك اتعوّدت عليها كوحدة واحدة.

دلوقتي حد يسألك: كلمة «مدرسة» فيها كام حرف «س»؟ هتقف شوية. ليه؟ لأنك مبصّيتش على الحروف من الأول، بصّيت على لزقتين: «مدر» + «سة». عشان تجاوب، لازم ترجع تفكّ اللزقة وتعدّ جواها، وده مجهود زيادة ممكن تغلط فيه.

النموذج بالظبط زيّك في المثال ده. بيقرا «لزقات» (توكنز)، مش حروف. فلما تطلب منه شغل على مستوى الحرف، بيبقى شغّال ضد الطريقة اللي اتبنى بيها.

التفسير العلمي: يعني إيه توكن وإزاي بيتقسّم

الكلام اللي بتكتبه بيمرّ الأول على حاجة اسمها المجزّئ (tokenizer) قبل ما يوصل للنموذج. أشهر خوارزمية بتعمل ده اسمها Byte Pair Encoding (BPE). الفكرة إنها بتبني قاموس من أكتر المقاطع تكرارًا في بيانات ضخمة، وبتدمج الأحرف المتجاورة الأكتر شيوعًا في وحدة واحدة تدريجيًا.

النتيجة إن الكلمات الشائعة بتتحوّل لتوكن واحد، والكلمات الأقل شيوعًا بتتقسّم لأجزاء. مثلًا في مجزّئ cl100k بتاع GPT-3.5 وGPT-4، كلمة strawberry بتتحوّل لـ 3 توكنز تقريبًا: str وaw وberry. حرف الـ r الأخير مدفون جوّه berry، والباقي في توكنز تانية. فالنموذج عمره ما شاف «ثلاث حروف r» في صف واحد.

جرّبها بنفسك بكود بسيط:

import tiktoken

enc = tiktoken.get_encoding("cl100k_base")  # مجزّئ GPT-3.5 / GPT-4
text = "strawberry"

ids = enc.encode(text)
print(len(ids), ids)                     # عدد التوكنز + أرقامها
print([enc.decode([i]) for i in ids])    # كل توكن كنص

كل توكن في الآخر بيتحوّل لرقم صحيح (ID)، والنموذج بيتنبّأ بالأرقام دي واحد ورا التاني، مش بالحروف. من غير ما تكتب كود، تقدر تلزق أي كلمة في أداة OpenAI Tokenizer وتشوف بعينك هي بتتقسّم لكام توكن.

ليه ده يهمّك لو بتكتب بالعربي

هنا الجزء اللي بيفرق فلوس فعلاً. المجزّئات دي اتدرّبت في الغالب على إنجليزي أكتر بكتير من العربي. النتيجة إن النص العربي بيتقسّم لتوكنز أكتر بكتير عن نفس المعنى بالإنجليزي، وساعات الحرف العربي الواحد بيتحوّل لأكتر من توكن بسبب طريقة ترميز UTF-8.

القاعدة التقريبية من OpenAI: في الإنجليزي التوكن الواحد ≈ 4 حروف ≈ ثلاثة أرباع كلمة، يعني 100 توكن ≈ 75 كلمة إنجليزي. في العربي الحكاية أغلى بكتير: نفس المحتوى ممكن ياخد ضعف لـ 3 أضعاف عدد التوكنز.

سيناريو واقعي: عندك شات بوت عربي بيخدم 10,000 رسالة في اليوم، متوسط الرسالة 50 كلمة. لو ده كان إنجليزي هيبقى حوالي 65 توكن للرسالة. بالعربي ممكن يوصل 150 توكن أو أكتر لنفس الرسالة. الفرق ده بيظهر في مكانين مباشرة: فاتورة الـ API (بتتحاسب بالتوكن) ونافذة السياق (context window) اللي بتمتلي أسرع، فبتقدر تحطّ تاريخ محادثة أقل. (الأرقام دي تقديرية للتوضيح، والدقيقة بتختلف حسب النموذج والمجزّئ.)

الـ trade-off: طب ليه بنقسّم كده أصلاً؟

ممكن تسأل: ليه مبنشتغلش بالحروف وخلاص؟ لأن ليها ثمن. التوكنز بالمقاطع بتكسب حاجتين: قاموس أصغر (عشرات الآلاف من التوكنز بدل ملايين الكلمات)، وقدرة على التعامل مع كلمات جديدة متشافتش قبل كده عن طريق تركيبها من مقاطع معروفة.

الثمن اللي بتدفعه: النموذج بيخسر الرؤية المباشرة للحروف، فبيبوظ في المهام اللي على مستوى الحرف. يعني بتكسب كفاءة وتعميم، وبتخسر الدقة الحرفية. ده الـ trade-off هنا، ومفيش اختيار مجاني.

متى لا تشغل بالك

أغلب استخداماتك مش متأثرة بالكلام ده. التلخيص، الترجمة، الرد على الأسئلة، توليد كود، تصنيف نص — كلها بتشتغل على مستوى المعنى مش الحرف، فالتوكنز مش مشكلة فيها. متبدأش تعقّد نفسك إلا لو شغلك على مستوى الحرف تحديدًا: عدّ حروف، عكس نص، فحص إملائي دقيق، أو ألعاب كلمات. أو لو بتحسب تكلفة توكنز لمشروع عربي كبير.

الخطوة التالية

افتح أداة OpenAI Tokenizer دلوقتي، والزق فيها جملة عربية بتستخدمها فعلًا في مشروعك، وشوف بتتقسّم لكام توكن. قارنها بترجمتها الإنجليزي. الفرق اللي هتشوفه هو نفسه اللي بيظهر في فاتورتك وفي حجم السياق. ولو محتاج النموذج يعدّ حروف أو يعكس نص، متطلبش منه مباشرة — إدّيله أداة أو خلّيه يكتب سطر كود يعمل المهمة، وسيب الحساب للكود مش للتخمين.

مصادر

• OpenAI — What are tokens and how to count them (قاعدة: 1 توكن ≈ 4 حروف إنجليزي ≈ ¾ كلمة): help.openai.com
• OpenAI Tokenizer (أداة تجربة تقسيم النص بصريًا): platform.openai.com/tokenizer
• مكتبة tiktoken الرسمية: github.com/openai/tiktoken
• Sennrich, Haddow, Birch (2016) — الورقة اللي عرّفت BPE للنماذج اللغوية: arxiv.org/abs/1508.07909
• Yennie Jun — All languages are NOT created (tokenized) equal: artfish.ai