Pandas 读写 CSV/Excel 与缺失值处理实战

数据分析第一关不是建模,而是把表读进来并洗干净。CSV/Excel 读写和缺失值处理,是 Pandas 每天都在用的基本功。

读入数据

import pandas as pd

df = pd.read_csv("orders.csv", encoding="utf-8-sig")
# 大文件可先看前几行、指定列
df_preview = pd.read_csv("orders.csv", nrows=5, usecols=["order_id", "amount", "status"])

# Excel
xlsx = pd.read_excel("sales.xlsx", sheet_name="2026Q1")

写出结果

df.to_csv("clean_orders.csv", index=False, encoding="utf-8-sig")
df.to_excel("clean_orders.xlsx", index=False)

缺失值长什么样

print(df.isna().sum())          # 每列缺失数量
print(df.isna().mean().sort_values(ascending=False))  # 缺失比例

常见处理策略

# 1) 删除:缺失很少且随机
df2 = df.dropna(subset=["order_id", "user_id"])

# 2) 填充:数值用中位数,类别用众数/未知
df["amount"] = df["amount"].fillna(df["amount"].median())
df["city"] = df["city"].fillna("未知")

# 3) 标记:保留信息,另加一列
df["amount_missing"] = df["amount"].isna().astype(int)

类型也要一起修

df["order_date"] = pd.to_datetime(df["order_date"], errors="coerce")
df["amount"] = pd.to_numeric(df["amount"], errors="coerce")
df["status"] = df["status"].astype("category")

一条实用清洗流水线

def clean_orders(path: str) -> pd.DataFrame:
    df = pd.read_csv(path)
    df.columns = [c.strip().lower() for c in df.columns]
    df = df.drop_duplicates(subset=["order_id"])
    df["amount"] = pd.to_numeric(df["amount"], errors="coerce")
    df = df[df["amount"].notna() & (df["amount"] >= 0)]
    df["order_date"] = pd.to_datetime(df["order_date"], errors="coerce")
    return df.reset_index(drop=True)

先标准化列名 → 去重 → 转类型 → 再处理缺失,顺序很重要。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注