جامع المهملات في بايثون: ليه ذاكرتك بتتسرّب رغم الـ GC

import gc, tracemalloc

class Node:
    def __init__(self):
        self.partner = None
        self.payload = bytearray(10_000)   # 10 كيلوبايت لكل عقدة

def make_cycle():
    a, b = Node(), Node()
    a.partner = b
    b.partner = a            # دورة: a بيمسك b و b بيمسك a

gc.disable()
tracemalloc.start()

for _ in range(20_000):
    make_cycle()

current, _ = tracemalloc.get_traced_memory()
print(f"قبل التجميع:       {current/1024/1024:6.1f} MB")

gc.collect()
current, _ = tracemalloc.get_traced_memory()
print(f"بعد gc.collect():  {current/1024/1024:6.1f} MB")

المخرجات على CPython 3.12 بتقرب من:

ركز في الرقم. الـ 40 ألف عقدة خرجوا من النطاق بعد كل دورة، يعني المفروض يتحرروا فوراً. بس لأنهم متشابكين، العدّ المرجعي فضل شايفهم 1، فاحتجزوا حوالي 390 ميجا. أول ما شغّلنا gc.collect() رجعوا كلهم. ده شكل التسريب اللي بيوقّع خدمتك بـ OOM.

الـ trade-off: ليه فيه طبقتين؟

طب ما دام جامع الدورات بيمسك كل حاجة، ليه بايثون مش بيعتمد عليه لوحده؟ هنا الـ trade-off:

• العدّ المرجعي: بتكسب تحرير فوري وحتمي للذاكرة. بتخسر تكلفة بسيطة على كل إسناد، وعجز كامل عن الدورات.
• جامع الدورات: بيمسك الدورات. بتخسر إنه بيشتغل في نوبات بتستهلك CPU، ومش حتمي في توقيته.

عشان يقلل التكلفة، بايثون بيستخدم تجميع الأجيال: بيقسم الكائنات 3 أجيال، وبيفحص الجيل الصغير أكتر بكتير من الكبير، على فرضية إن أغلب الكائنات بتموت بدري. العتبات الافتراضية (700, 10, 10) وتشوفها بـ gc.get_threshold().

سيناريو واقعي وبرقم

فريق Instagram لقى إن جامع الدورات بياخد CPU من غير فايدة في الـ web workers بتاعتهم لأنهم بيعيدوا تشغيل الـ process دورياً. عطّلوه وكسبوا حوالي 10% سعة معالجة على نفس العتاد. الدرس مش "عطّل الـ GC"، الدرس إن الجامع له تكلفة حقيقية تقدر تقيسها.

متى لا تستخدم هذه الطريقة (تعطيل الـ GC)

• ينفع في عملية قصيرة العمر، لأن النظام هيرجّع الذاكرة عند الخروج بأي حال.
• كارثة في خدمة طويلة العمر بتعمل دورات كتير، لأن التسريب (390 ميجا) هيتراكم لحد الـ OOM.

ملاحظة: قبل بايثون 3.4 الكائنات اللي فيها __del__ وداخلة في دورة مكانتش بتتحرر وبتروح في gc.garbage. PEP 442 حسّن ده، لكن لسه __del__ بيعقّد التجميع فقلل استخدامه. وكل ده على CPython؛ PyPy و Jython بيستخدموا جامع مهملات tracing مختلف.

الخطوة التالية

افتح خدمتك دلوقتي، وقبل وبعد أي دورة عمل اطبع gc.get_count() و len(gc.garbage). لو الرقم بيكبر باطّراد فعندك دورات. دوّر على أي كائن فيه مرجع لنفسه أو لأبوه أو __del__ مخصص. أكّد بـ gc.collect() وشوف الذاكرة رجعت ولا لأ.

المصادر

• توثيق بايثون — موديول gc: docs.python.org/3/library/gc.html
• توثيق بايثون — sys.getrefcount: docs.python.org/3/library/sys.html
• دليل مطوّري CPython — جامع المهملات: devguide.python.org/internals/garbage-collector
• PEP 442: peps.python.org/pep-0442
• Instagram Engineering — Dismissing Python Garbage Collection: instagram-engineering.com