درجة الحرارة (Temperature): ليه نفس السؤال بيديك إجابة مختلفة كل مرة
المستوى: مبتدئ. الشرح بيبدأ بمثال بسيط، وبعدين بيدخل على السبب العلمي والكود. مش محتاج خلفية في تعلّم الآلة.
لو بعتّ نفس السؤال للنموذج مرتين وجالك ردّين مختلفين، ده مش عطل. غالبًا درجة الحرارة (Temperature) مرفوعة. في أقل من 5 دقايق هتعرف تتحكم فيها بالظبط: إمتى تخليها صفر عشان رد ثابت، وإمتى ترفعها عشان تنويع.
المشكلة باختصار
نماذج اللغة زي ChatGPT وClaude وGemini مش بتختار الكلمة التالية بشكل ثابت. بتحسب احتمال لكل كلمة ممكنة، وبعدين بتسحب واحدة منهم. درجة الحرارة هي المقبض اللي بيقرر: نسحب دايمًا أعلى احتمال (رد متوقّع)، ولا نسيب فرصة للكلمات الأقل احتمالًا (رد متنوّع وأحيانًا غريب). المقبض ده بيتراوح عادةً من 0 لـ 2.
مثال قبل الشرح: النردة المغشوشة
تخيّل عندك نردة. النردة العادلة كل وش ليه نفس الفرصة. دلوقتي تخيّل نردة "مغشوشة" بتقع على الرقم 6 في 90% من الرميات. دي درجة حرارة منخفضة: النتيجة شبه مضمونة كل مرة.
لو رجّعت النردة عادلة تمامًا (كل رقم تقريبًا 16.6%)، دي درجة حرارة عالية: النتيجة مفاجأة في كل رمية. درجة الحرارة في النموذج بتعمل نفس الحاجة بالظبط، بترفع أو تخفض "الغش" ناحية الكلمة الأقوى.
الشرح العلمي: من الدرجات الخام إلى الاحتمالات
النموذج بيطلّع لكل كلمة رقم خام اسمه logit. الأرقام دي مش احتمالات، فلازم تتحوّل. الدالة اللي بتحوّلها اسمها softmax. قبل softmax، النموذج بيقسم كل logit على درجة الحرارة T. القسمة دي هي كل الحكاية:
- T صغيرة (مثلاً 0.2): الأرقام بتتباعد، فأعلى كلمة بتاخد شبه كل الاحتمال. الرد بيبقى شبه ثابت.
- T = 1: التوزيع الطبيعي زي ما النموذج اتدرّب عليه بالظبط.
- T كبيرة (مثلاً 1.8): الأرقام بتتقارب، فالكلمات الضعيفة بتاخد فرصة أكبر. هنا بيظهر التنويع، وكمان الهلوسة.
خد مثال محسوس: بعد جملة "القهوة أحلى بـ"، النموذج عنده 5 كلمات مرشّحة بدرجاتها الخام. الجدول ده بيوري نفس الكلمات بأرقام احتمالها عند 3 درجات حرارة (الأرقام طلعت من الكود اللي تحت):
| الكلمة | logit | T=0.2 | T=1.0 | T=1.8 |
|---|---|---|---|---|
| سكر | 3.0 | 92% | 57% | 45% |
| لبن | 2.5 | 8% | 34% | 34% |
| عسل | 1.0 | ~0% | 8% | 15% |
| ملح | -1.0 | ~0% | 1% | 5% |
| بنزين | -4.0 | ~0% | 0.05% | 0.9% |
ركز في السطر الأخير. كلمة "بنزين" (اختيار غلط تمامًا) احتمالها قفز من صفر تقريبًا لـ 0.9% لما رفعنا الحرارة لـ 1.8. ده بالظبط مصدر الردود الغريبة اللي بتظهر فجأة.