المولّدات (Generators) في بايثون: اقرأ ملف 1.6 جيجا بذاكرة 4 ميجا
مستوى المقال: متوسط. الافتراض إنك بتكتب بايثون وتعرف الحلقات والدوال، وعايز تفهم بالظبط إمتى وليه تستخدم yield.
لو سكربت بيقرا ملف كبير بيضرب MemoryError أو بيوقّف السيرفر، غالبًا المشكلة إنك بتحمّل الملف كله في الرام مرة واحدة. المولّد بيخليك تقرا صف واحد كل مرة، فالذاكرة تفضل شبه ثابتة مهما كبر الملف.
المشكلة باختصار
عندك ملف CSV فيه 20 مليون صف طلبات، حجمه حوالي 1.6 جيجا، وعايز تجمع عمود المبلغ. الحل البديهي: open(path).read().splitlines() وبعدين list comprehension. النتيجة: بايثون بيحجز الملف كله زائد القائمة الناتجة في الرام، والذروة توصل حوالي 1,600 ميجا. على سيرفر بـ 1 جيجا رام، الطلب بيموت قبل ما يخلّص.
الفكرة ببساطة قبل التعريف العلمي
تخيّل مصنع مياه وسير إنتاج. الطريقة الأولى: تطبع الـ 20 مليون زجاجة كلها الأول وتكدّسها في مخزن ضخم، وبعدين تبدأ تعدّها. محتاج مخزن يسع كل حاجة في نفس اللحظة. الطريقة التانية: السير يديك زجاجة واحدة بس كل ما تمد إيدك، وانت بتعدّها وترميها وتطلب اللي بعدها. مفيش مخزن، محتاج مكان زجاجة واحدة في المرة.
المولّد هو السير. مش بيحضّر كل النتائج مقدمًا؛ بيحضّر النتيجة اللي انت طالبها دلوقتي بس، وبيرمي اللي قبلها من الذاكرة.
علميًا: المولّد دالة فيها yield بدل return. أول ما تناديها مبتشتغلش على طول؛ بترجّع كائن مولّد (iterator). كل ما تطلب العنصر التالي بـ next() أو جوه حلقة for، الدالة بتكمل من عند آخر yield، بتنتج قيمة واحدة، وبعدين بتتجمّد محافظة على حالتها الكاملة: المتغيرات المحلية وموضع التنفيذ. ده اسمه التقييم الكسول (lazy evaluation): محدش بيحسب حاجة قبل ما تُطلب فعلًا.
الحل بالكود
نفس المهمة بمولّد. بنقرا سطر سطر، ونطلع المبلغ من كل سطر، والذاكرة تفضل ثابتة:
import tracemalloc
def read_amounts(path):
with open(path, encoding="utf-8") as f:
next(f) # نتخطى صف العناوين
for line in f: # الملف نفسه مولّد: سطر واحد في الرام
yield float(line.split(",")[3])
tracemalloc.start()
total = sum(read_amounts("orders.csv")) # نمر مرة واحدة بدون تخزين
peak = tracemalloc.get_traced_memory()[1] // 1024 // 1024
tracemalloc.stop()
print(total, f"{peak} MB") # نفس المجموع، والذروة حوالي 4 MB
وممكن تختصرها لتعبير مولّد (generator expression) من غير ما تكتب دالة أصلًا:
