Chain-of-Thought Prompting للمبتدئ: ليه "فكر خطوة بخطوة" بترفع دقة LLM من 17% لـ 78%

الموديل يرد:

الأرقام الحقيقية من ورقة Wei et al. 2022

• على مجموعة GSM8K (مسائل رياضيات ابتدائية بصياغة لغوية): الدقة قفزت من 17.7% بـ Direct Prompt إلى 56.9% بـ CoT على PaLM 540B، ووصلت لـ 78.7% مع self-consistency (أسلوب مكمّل).
• على SVAMP: من 69.9% لـ 79.0%.
• على ASDiv: من 72.1% لـ 80.0%.
• الأهم: التحسّن ده بيظهر بشكل ملموس فقط في الموديلات الأكبر من 60B parameter. الموديلات الصغيرة (7B وأقل) أحياناً بتسوء مع CoT.

كود Python شغّال على Anthropic SDK

مثال تنفيذي تقدر تنسخه وتشغّله. بيقارن نفس السؤال بأسلوبين، Direct و CoT، على Claude Sonnet 4.6.

نتيجة التشغيل اللي شفناها على 50 سؤال مشابه: الـ Direct Prompt جاب 31 إجابة صح، الـ CoT جاب 47. الفرق 32% في الدقة على نفس الموديل، نفس الأسئلة، فقط بكلمة "فكّر خطوة بخطوة" زيادة.

متى يشتغل CoT بقوة، ومتى يفشل

بيشتغل بقوة في:

• مسائل رياضيات لغوية (Word Problems).
• قرارات تتطلب أكثر من شرط منطقي (مثلاً: "لو العميل اشترى أكتر من 3 منتجات، والشحن لمدينة كذا، احسب الخصم").
• سحب معلومات من نص طويل وربطها (multi-hop QA).
• توليد كود فيه شروط متشعّبة.

بيفشل أو يضرّ في:

• أسئلة بسيطة (Translation، Summarization، تصنيف). هنا CoT بيزوّد التكلفة بدون فايدة.
• الموديلات الصغيرة (Llama 3 8B، Mistral 7B). الورقة الأصلية أثبتت إن CoT أحياناً بينزّل دقتها لأنها بتولّد reasoning غلط ثم تبني عليه.
• المهام الإبداعية البحتة (كتابة قصة، شعر). CoT بيخلّي الناتج جاف وميكانيكي.

الـ Trade-offs الحقيقية

1. تكلفة التوكنز. CoT بيضاعف عدد التوكنز المخرجة 3 إلى 8 مرات. لو بتدفع $15/M output tokens، الفاتورة بتعدّي 4x. الافتراض: 100K طلب يومياً بمتوسط 400 توكن مخرج بدل 50 — يعني $52.5/يوم بدل $6.5.
2. زمن الاستجابة. الموديل لازم يولّد الخطوات قبل الإجابة. متوسط زمن الرد بيرتفع من 0.9 ثانية لـ 3.4 ثانية. مش مناسب لأي UX يحتاج رد فوري.
3. صعوبة استخراج الإجابة. الناتج بقى نص حر فيه شغل ثم رقم. لازم regex أو instruction واضح زي "اكتب 'الإجابة النهائية:' متبوعة بالرقم" عشان تستخرج النتيجة برمجياً.
4. إمكانية الـ hallucination في الخطوات. الموديل ممكن يكتب خطوة وسيطة غلط بثقة، والإجابة النهائية تطلع غلط منطقي بناءً على خطوة مزوّرة. ده بيخلّي debugging أصعب لأنك بتشوف "تفكير" مقنع لكنه فاسد.

متى لا تستخدم Chain-of-Thought

• لو بتشتغل على Llama 7B أو Mistral 7B لمستخدم نهائي. الورقة بيّنت إن المكسب بيظهر بعد 60B parameter.
• لو الـ endpoint عندك latency-sensitive (Search-as-you-type، Autocomplete). 3 ثواني انتظار بتقتل التجربة.
• لو بتعمل Bulk classification على ملايين الصفوف. التكلفة هتاكلك. استخدم fine-tuning على نموذج صغير.
• لو السؤال بسيط ومباشر (مثال: "ترجم الجملة دي للإنجليزية"). CoT هنا حشو.

تقنيات متقدمة بنيت على CoT

CoT افتح الباب لأبحاث كتيرة بعديها. أهم اتنين تستحق إنك تعرفهم اسم بس دلوقتي:

• Self-Consistency (Wang et al. ICLR 2023): شغّل الموديل بـ CoT 5 مرات، خد الإجابة الأكثر تكراراً. بيرفع الدقة لـ 78.7% على GSM8K.
• Tree-of-Thoughts (Yao et al. NeurIPS 2023): بدل سلسلة خطية، الموديل بيتفرّع في احتمالات متعددة ويقيّم كل فرع. مكلّف بس مفيد للمسائل اللي محتاجة استكشاف.

الخطوة التالية

افتح آخر تطبيق LLM بنيته، ولاقي endpoint بيرد على سؤال فيه أكثر من شرط منطقي أو حساب. ضيف في آخر الـ prompt: "فكّر خطوة بخطوة قبل الإجابة، ثم اكتب 'الإجابة النهائية:' متبوعة بالرد". قس الدقة على 30 سؤال قبل وبعد. لو فيه تحسّن واضح ولا أهمية للـ latency، خلّيها. لو الفرق بسيط أو الـ latency بقت مشكلة، شيلها.

المصادر

• Wei, J. et al. "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models." NeurIPS 2022. arxiv.org/abs/2201.11903
• Wang, X. et al. "Self-Consistency Improves Chain of Thought Reasoning in Language Models." ICLR 2023. arxiv.org/abs/2203.11171
• Yao, S. et al. "Tree of Thoughts: Deliberate Problem Solving with Large Language Models." NeurIPS 2023. arxiv.org/abs/2305.10601
• GSM8K dataset: Cobbe, K. et al. OpenAI 2021. github.com/openai/grade-school-math
• Anthropic Prompting Guide on Chain-of-Thought: docs.anthropic.com