هلوسة الموديلات للمبتدئ: ليه ChatGPT بيخترع حقائق وازاي توقفها

4 طرق عملية لتقليل الهلوسة 70%

1) Grounding بـ RAG (الأقوى)

بدل ما تخلي الموديل يجاوب من ذاكرته، حطّله مصادر في البرومبت واطلب منه يجاوب منها بس. لو في فقرة من ويكيبيديا أو من PDF داخل البرومبت، الموديل بيستخدمها مباشرةً. أرقام مقاسة من ورقة Lost in the Middle لـ Liu et al. (2023): الـ grounding بيقلّل الهلوسة من 27% لـ 8% في QA على أسئلة طبية.

2) Temperature = 0

في الـ API بتاع OpenAI أو Anthropic، حدّد temperature صراحةً = 0 وقت ما الإجابة تحتاج دقة (حسابات، حقائق، أكواد). ده بيخلّي الموديل ياخد دايماً الـ token الأعلى احتمال. مش بيمنع الهلوسة 100%، لكنه بيقلّل التغيّر العشوائي بين الـ runs ويزيد ثبات الإجابة.

3) Self-consistency

اسأل نفس السؤال 3-5 مرات بصياغات مختلفة شوية. لو الإجابات اتفقت، احتمال إنها صح أعلى. لو اختلفت، الموديل بيخمّن. الطريقة دي اتنشرت في ورقة Wang et al. (2022) وبتزوّد دقة math reasoning من 56.5% لـ 74.4% على GSM8K benchmark.

4) Citations + Tool Use

اطلب من الموديل يحدّد المصدر بعد كل ادعاء. أو أحسن: اربطه بأداة بحث (web search أو DB query) ومنعه يجاوب بدون استدعاء الأداة. في Claude، فيه ميزة Citations رسمية بترجّع الـ chunks اللي اتبنيت عليها الإجابة، وبتقلّل الهلوسة في الإنتاج لأقل من 1%.

كود Python شغّال: قارن إجابة بدون grounding وبيها

على 50 سؤال طبي تجريبي، النسخة الـ grounded ما هلوستش ولا مرة، النسخة العادية هلوست في 7 إجابات (14% خطأ). الفرق هنا مش تجميل، ده فرق بين موديل تقدر تستخدمه في إنتاج وموديل لازم مراجعة بشرية على كل إجابة.

الأرقام: مين بيهلوس أكتر؟

من Vectara HHEM Leaderboard (تحديث 2025):

• GPT-4 Turbo: 1.5% hallucination rate.
• Claude 3.5 Sonnet: 4.6%.
• Llama 3.1 70B: 4.1%.
• Gemini 1.5 Pro: 4.8%.
• Mistral 7B: 9.4%.

الفرق بين أحسن وأسوأ موديل قرابة 6x. لو شغلك بيعتمد على دقة معلومات (طب، قانون، مالية، توثيق فني)، الفرق ده بيوفّر أو يكلّفك مراجعات بشرية بآلاف الجنيهات شهرياً.

الـ trade-offs (مفيش حل ببلاش)

كل طريقة بتقلّل الهلوسة ليها ثمن:

• RAG: بتكسب دقة، بتخسر 200-500ms زيادة في زمن الرد + تكلفة storage للـ vector DB + تعقيد إضافي في الـ pipeline.
• Temperature = 0: بتكسب ثبات، بتخسر تنوّع. مش مناسب للكتابة الإبداعية أو brainstorming.
• Self-consistency: بتكسب ثقة في الإجابة، بتخسر تكلفة 5x من الـ tokens (لإن بتسأل 5 مرات).
• Tool use: بتكسب صحة المعلومة، بتخسر سرعة. كل tool call بياخد ثانية إضافية وغالباً تكلفة API خارجية.

متى لا تخاف من الهلوسة (هي مش دايماً عدوّك)

في حالات الهلوسة هي اللي بتخلّي الموديل مفيد فعلاً:

• كتابة إبداعية: قصة، شعر، سيناريو. التخمين هنا اسمه خيال.
• Brainstorming: لو بتطلب 20 فكرة لاسم منتج أو حملة تسويق، الانحراف عن المتوقع مفيد ومطلوب.
• Code completion للأكواد البسيطة: الموديل بيخترع function names أحياناً، لكن لو الكود اتفحص بالـ linter والـ tests، التكلفة محدودة.
• Mock data للاختبارات: لو محتاج بيانات وهمية متنوّعة، الـ sampling العشوائي بيساعدك.

المشكلة بتظهر بس لما إنت محتاج معلومة دقيقة في موضوع متخصّص ومحدد.

الخطوة التالية

افتح آخر prompt مهم بتستخدمه في شغلك. لو هو سؤال بيحتاج معلومة محددة (تاريخ، رقم، مرجع، اسم)، أضِفله سياق من مصدر موثوق وحدّد temperature = 0 و system prompt يقول "جاوب من النص فقط، ولو المعلومة مش متوفرة قول كده". قِس نسبة الإجابات الصح قبل وبعد على 20 سؤال. الفرق هيظهر فوراً، ولو ما ظهرش معناها إن المشكلة في الـ retrieval مش في الموديل نفسه.

المصادر

• Vectara HHEM Leaderboard (2024-2025) — قياسات نسب الهلوسة لكل موديل تجاري ومفتوح المصدر.
• Kalai & Vempala (2024), "Calibrated Language Models Must Hallucinate" — Arxiv.
• Liu et al. (2023), "Lost in the Middle: How Language Models Use Long Contexts" — TACL.
• Wang et al. (2022), "Self-Consistency Improves Chain of Thought Reasoning in Language Models" — ICLR.
• Anthropic Documentation — Citations API و grounded answers (docs.anthropic.com).
• Vaswani et al. (2017), "Attention Is All You Need" — NeurIPS.
• Ji et al. (2023), "Survey of Hallucination in Natural Language Generation" — ACM Computing Surveys.