تنظيف البيانات بـ Python Pandas: دليل عملي

تنظيف البيانات غير جذاب ويستغرق وقتاً طويلاً وضروري تماماً. تُظهر الدراسات باستمرار أن محترفي البيانات يقضون 60–80% من وقتهم في تنظيف البيانات وإعدادها قبل أن يبدأ أي تحليل. Pandas يجعل هذه العملية أسرع وقابلة للتكرار وقابلة للتدقيق.

قبل لمس أي مجموعة بيانات، شغّل: df.info() — أنواع البيانات وعدد القيم غير الفارغة واستخدام الذاكرة df.describe() — ملخص إحصائي للأعمدة الرقمية df.isnull().sum() — عدد القيم المفقودة لكل عمود هذه الأوامر الثلاثة تكشف 90% من مشكلات جودة البيانات في أقل من 30 ثانية.

القيم المفقودة هي أكثر مشكلات جودة البيانات شيوعاً. استراتيجيتك تعتمد على السياق: df.dropna(subset=['critical_column']) — احذف الصفوف حيث عمود رئيسي فارغ df.fillna(0) — استبدل NULLs بالصفر df.fillna(df['column'].median()) — املأ بالوسيط df.fillna(method='ffill') — الملء للأمام (مفيد لبيانات السلاسل الزمنية)

أنواع البيانات الخاطئة تسبب أخطاء صامتة. أصلحها مبكراً: df['date'] = pd.to_datetime(df['date'], errors='coerce') df['revenue'] = pd.to_numeric(df['revenue'], errors='coerce') وسيطة errors='coerce' تحوّل القيم غير القابلة للتحليل إلى NaN بدلاً من التعطّل.

النص غير المتسق يدمر دقة GROUP BY. 'Egypt' و'egypt' و'EGYPT' و' Egypt ' ستُعدّ أربع دول مختلفة: df['country'] = df['country'].str.strip().str.title() df['email'] = df['email'].str.strip().str.lower()

df.duplicated().sum() يُظهر كم صف مكرر موجود. df.drop_duplicates() يزيل التكرارات المطابقة. df.drop_duplicates(subset=['customer_id', 'order_date']) يزيل التكرارات بناءً على أعمدة محددة.

Q1 = df['sales'].quantile(0.25)
Q3 = df['sales'].quantile(0.75)
IQR = Q3 - Q1
df_clean = df[(df['sales'] >= Q1 - 1.5*IQR) & (df['sales'] <= Q3 + 1.5*IQR)]

def clean_sales_data(df):
    df = df.copy()
    df.drop_duplicates(inplace=True)
    df['date'] = pd.to_datetime(df['date'], errors='coerce')
    df['revenue'] = pd.to_numeric(df['revenue'], errors='coerce')
    df['region'] = df['region'].str.strip().str.title()
    df.dropna(subset=['date', 'revenue'], inplace=True)
    return df