数据分析第一关不是建模,而是把表读进来并洗干净。CSV/Excel 读写和缺失值处理,是 Pandas 每天都在用的基本功。
读入数据
import pandas as pd
df = pd.read_csv("orders.csv", encoding="utf-8-sig")
# 大文件可先看前几行、指定列
df_preview = pd.read_csv("orders.csv", nrows=5, usecols=["order_id", "amount", "status"])
# Excel
xlsx = pd.read_excel("sales.xlsx", sheet_name="2026Q1")
写出结果
df.to_csv("clean_orders.csv", index=False, encoding="utf-8-sig")
df.to_excel("clean_orders.xlsx", index=False)
缺失值长什么样
print(df.isna().sum()) # 每列缺失数量
print(df.isna().mean().sort_values(ascending=False)) # 缺失比例
常见处理策略
# 1) 删除:缺失很少且随机
df2 = df.dropna(subset=["order_id", "user_id"])
# 2) 填充:数值用中位数,类别用众数/未知
df["amount"] = df["amount"].fillna(df["amount"].median())
df["city"] = df["city"].fillna("未知")
# 3) 标记:保留信息,另加一列
df["amount_missing"] = df["amount"].isna().astype(int)
类型也要一起修
df["order_date"] = pd.to_datetime(df["order_date"], errors="coerce")
df["amount"] = pd.to_numeric(df["amount"], errors="coerce")
df["status"] = df["status"].astype("category")
一条实用清洗流水线
def clean_orders(path: str) -> pd.DataFrame:
df = pd.read_csv(path)
df.columns = [c.strip().lower() for c in df.columns]
df = df.drop_duplicates(subset=["order_id"])
df["amount"] = pd.to_numeric(df["amount"], errors="coerce")
df = df[df["amount"].notna() & (df["amount"] >= 0)]
df["order_date"] = pd.to_datetime(df["order_date"], errors="coerce")
return df.reset_index(drop=True)
先标准化列名 → 去重 → 转类型 → 再处理缺失,顺序很重要。