你用 pandas 清洗数据，可能太“业务化”了

在上一篇文章里，我提到在项目中使用 pandas 做数据处理和清洗，整体效果非常不错。

后台也有不少同学留言问：

pandas 做数据清洗，有没有一套「通用实现路径」？ 这件事是不是强业务相关，没法复用？

这篇就专门聊一聊这个问题。

先给结论：

数据清洗 ≠ 业务规则 pandas 可以覆盖 70%～80% 的通用处理流程， 真正强业务相关的，其实只有最后那一小段「规则层」。

先明确一个重要的拆分思路

在工程实践中，我更倾向于把 pandas 数据清洗拆成两层：

1️⃣ 通用数据处理层（与业务弱相关）

这层解决的是 “数据能不能被正常使用” 的问题，比如：

• 字段是否齐全
• 类型是否正确
• 是否存在脏数据
• 是否能被下游系统接受

👉 这部分高度通用、强复用价值。

2️⃣ 业务规则层（强业务相关）

这层解决的是 “业务如何理解这些数据” 的问题，比如：

• 哪些状态是合法的
• 什么样的数据算异常
• 如何打标签、分组、聚合
• 不同业务线规则是否不同

👉 这部分一定是业务相关的，但可以做到解耦、可配置。

一个 pandas 数据清洗的「通用模板」

下面是一条在多个项目中都比较稳定的实现路径。

Step 1：数据加载（Input 层）

df = pd.read_csv(...)
# 或
df = pd.read_sql(...)

原则只有一个： 👉 尽早进 DataFrame，后面统一用 pandas 处理

Step 2：字段标准化（非常关键）

这一层的目标是： 让数据结构“长得像你期望的样子”

常见操作包括：

• 字段重命名
• 字段缺失补齐
• 字段顺序统一

df = df.rename(columns={
    "userId": "user_id",
    "createdAt": "created_at"
})

📌 建议： 不要容忍“凑合能用”的字段名，后面会付出更大代价。

Step 3：类型与格式清洗

这是非常容易被忽略、但极其重要的一步。

• 时间字段统一成 datetime
• 数值字段强制转型
• 非法值直接变 NaN

df["created_at"] = pd.to_datetime(df["created_at"], errors="coerce")
df["amount"] = pd.to_numeric(df["amount"], errors="coerce")

👉 到这里，数据已经从「原始输入」变成了「可计算数据」。

Step 4：脏数据处理（通用套路）

这一层解决的是数据质量问题：

• 去重
• 空值处理
• 明显异常过滤

df = df.drop_duplicates()
df = df.dropna(subset=["user_id", "created_at"])

📌 这一层几乎不涉及业务含义，而是“数据健康度”。

业务规则不要写死在 pandas 流程里

重点来了 👇 很多项目后期难维护，问题就出在这里。

❌ 常见反模式

df = df[df["status"].isin([1, 2, 3])]
df["level"] = df["amount"].apply(lambda x: "vip" if x > 1000 else "normal")

问题是：

• 规则散落在流程中
• 改一条业务规则要改一堆代码
• 不同业务场景难以复用

✅ 推荐做法：业务规则函数化 / 配置化

1️⃣ 把规则抽成函数

def is_valid_status(df):
    return df["status"].isin([1, 2, 3])

df = df[is_valid_status(df)]

2️⃣ 或者集中到一个「规则层」

def apply_business_rules(df):
    df = df[df["status"].isin(ALLOWED_STATUS)]
    df["level"] = df["amount"].apply(calc_level)
    return df

👉 pandas 负责批量、高效的数据操作 👉 业务规则负责解释数据含义

推荐的整体结构（工程视角）

data_pipeline/
├── loader.py        # 数据加载
├── normalize.py     # 字段 & 类型标准化
├── clean.py         # 通用脏数据处理
├── rules.py         # 业务规则
└── pipeline.py      # 串联流程

这样做的好处：

• 规则可测试
• 流程可复用
• 业务变更影响面小
• pandas 逻辑不会被“业务 if else”淹没

为什么 pandas 非常适合做这一层？

因为它非常擅长：

• 批量处理
• 声明式表达
• 一次性完成整列计算
• 避免 for 循环

你可以把 pandas 理解为：

“数据清洗领域的中间语言” 上游再乱，下游再复杂，中间先变干净。

总结一句话

• pandas 不是业务框架
• 但它非常适合承载业务之前的“数据治理层”
• 清洗流程通用，业务规则解耦
• 先把数据处理好，业务才有意义