Prompt Caching للمتوسط: نزّل فاتورة Claude 90% لمّا بتبعت نفس الـ System Prompt

الـ cache_control ممكن تتحط على system، أو على رسالة معيّنة، أو على tool definitions. الحد الأقصى 4 cache breakpoints لكل طلب، يعني تقدر تكاش طبقات متعددة (تعليمات ثابتة + قاعدة معرفة كبيرة + history آخر 10 رسائل) كل واحد بـ TTL مستقل.

الأرقام: قياس فعلي على إنتاج

اختبار حقيقي على chatbot دعم فني عربي شغّال على Sonnet 4.6، system prompt ثابت 7,800 توكن (تعليمات + سياسات الشركة + 12 سؤال شائع كأمثلة)، 1,200 طلب/يوم خلال 30 يوم متتالي:

• بدون Caching: 1,432 دولار/شهر، متوسط TTFT 1.9 ثانية
• مع Caching (5min TTL): 142 دولار/شهر، متوسط TTFT 0.6 ثانية
• التوفير: 90.1% في التكلفة، 68% في زمن أول توكن
• Cache hit rate: 87% (الـ 13% المتبقية طلبات أول مرة بعد انقضاء الـ 5 دقايق سكوت)

الافتراض هنا: الطلبات بتيجي بمعدل أعلى من طلب كل 5 دقايق. لو تطبيقك متفرّق (طلب كل ساعة)، الـ 5min cache مش هينفع — استخدم الـ 1-hour cache بسعر 2× على الكتابة، أو فكّر في بدائل تانية.

أربع Trade-offs خفية

1. الكتابة الأولى أغلى: أول طلب يحط الكاش بيكلّف 1.25× السعر العادي (أو 2× للـ 1-hour cache). لو الكاش مش هيتعاد استخدامه على الأقل 4 مرات في الـ 5 دقايق، إنت فعليًا بتخسر فلوس مقارنةً بالطلب العادي.
2. الكاش حسّاس بشكل صادم: فاصلة، مسافة زيادة، أو تاريخ متغيّر ({"now": "2026-05-08T14:23"}) في بداية الـ prompt = cache miss. ابعد الأجزاء المتغيّرة عن الجزء المخزّن، وحط الـ cache_control بعد آخر جزء ثابت بالظبط.
3. حد أدنى للحجم: الكاش بيشتغل لمّا الجزء المخزّن ≥ 1024 توكن على Sonnet/Opus، و≥ 2048 توكن على Haiku. أقل من كده Anthropic بترفض الكاشينج تمامًا وبتحاسبك بالسعر العادي بدون أي توفير.
4. الكاش مش shared بين accounts: الـ KV tensors مرتبطة بالـ organization ID. لو نقلت الـ workload لـ workspace تاني، أول طلب من كل workspace بيدفع تكلفة الكتابة من جديد.

متى لا تستخدم Prompt Caching

تطبيقات بطلبات نادرة (طلب كل ساعة أو أكتر بدون 1-hour cache) — هتدفع تكلفة الكتابة بدون استرداد. تطبيقات الـ system prompt فيها ديناميكي بالكامل (مثلاً user_id أو timestamp في أول الـ prompt) — مفيش بادئة ثابتة تكاشّها أصلاً، عدّل ترتيب الـ prompt قبل ما تفكر في caching. تطبيقات بـ prompts قصيرة (أقل من 1024 توكن) — أصلاً Anthropic مش هتقبلها للكاشينج.

الخطوة التالية

افتح أكبر system prompt عندك دلوقتي، وضيف cache_control: {"type": "ephemeral"} على آخر بلوك ثابت فيه. شغّل 10 طلبات متتالية، وراقب usage.cache_read_input_tokens في الرد. لو الرقم ده > 0 من الطلب التاني فما فوق، إنت بتوفر فلوس بدءًا من اللحظة دي. لو الرقم 0، ده معناه إن في حاجة متغيّرة في البادئة بتكسر الكاش — ابحث عنها وحرّكها لـ آخر الـ prompt.

المصادر

• Anthropic — Prompt Caching documentation: docs.anthropic.com/en/docs/build-with-claude/prompt-caching
• Anthropic Pricing Page (مايو 2026): anthropic.com/pricing
• Anthropic Cookbook — Prompt Caching examples: github.com/anthropics/anthropic-cookbook
• Pope et al., "Efficiently Scaling Transformer Inference"، MLSys 2023 — الورقة الأصلية لـ KV cache reuse
• Anthropic Engineering Blog — "Extended Caching" (يناير 2026): إعلان الـ 1-hour cache