分类目录归档:Pandas数据分析

时间序列基础:日期索引、重采样与滚动窗口

订单、流量、传感器数据都带时间。掌握日期索引、重采样、滚动统计,你就能做趋势、环比和简单异常发现。

变成时间索引

import pandas as pd

df["order_date"] = pd.to_datetime(df["order_date"])
ts = df.set_index("order_date").sort_index()
print(ts.loc["2026-01":"2026-03"])  # 按月份切片

重采样:日 → 周/月

daily = ts["amount"].resample("D").sum()
weekly = ts["amount"].resample("W").sum()
monthly = ts["amount"].resample("ME").sum()

滚动窗口:平滑噪声

# 7 日滑动均值
smooth = daily.rolling(window=7, min_periods=1).mean()

# 同时看均值和标准差,便于发现异常波动
roll = daily.rolling(7).agg(["mean", "std"])

环比 / 同比

mom = monthly.pct_change()          # 月环比
yoy = monthly.pct_change(periods=12) # 月同比(需足够长历史)

小案例:找出销量异常日

mu = daily.rolling(14).mean()
sigma = daily.rolling(14).std()
anomaly = daily[(daily - mu).abs() > 2 * sigma]
print(anomaly)

注意时区与缺失日期

# 补齐没有下单的日期,金额填 0
full = daily.asfreq("D").fillna(0)

分析趋势前先问:时间是否单调、有没有缺口、时区是否统一。这三件事比算法更影响结论。

用 groupby / pivot_table 做业务汇总分析

业务同学最常问:「按城市/品类/月份,销量多少、客单价多少?」Pandas 的 groupby 和 pivot_table 就是为这类问题准备的。

groupby 基础

import pandas as pd

# 假设 df 有 city, category, amount, qty
summary = (
    df.groupby("city", as_index=False)
      .agg(订单数=("order_id", "count"),
           销售额=("amount", "sum"),
           客单价=("amount", "mean"))
      .sort_values("销售额", ascending=False)
)

多字段分组

by_city_cat = df.groupby(["city", "category"]).agg(
    销量=("qty", "sum"),
    销售额=("amount", "sum"),
).reset_index()

pivot_table:更像 Excel 透视表

pivot = pd.pivot_table(
    df,
    index="city",
    columns="category",
    values="amount",
    aggfunc="sum",
    fill_value=0,
    margins=True,
    margins_name="合计",
)

时间维度汇总

df["month"] = df["order_date"].dt.to_period("M").astype(str)
monthly = df.groupby("month")["amount"].sum()

转化率这类「先聚合再计算」

funnel = df.groupby("channel").agg(
    访问=("user_id", "nunique"),
    下单=("order_id", "nunique"),
)
funnel["下单率"] = funnel["下单"] / funnel["访问"]

选型建议

  • 只要长表汇总 → groupby
  • 要行列交叉的宽表 → pivot_table
  • 结果要给业务看 → 最后 round、改中文列名、导出 Excel

Pandas 读写 CSV/Excel 与缺失值处理实战

数据分析第一关不是建模,而是把表读进来并洗干净。CSV/Excel 读写和缺失值处理,是 Pandas 每天都在用的基本功。

读入数据

import pandas as pd

df = pd.read_csv("orders.csv", encoding="utf-8-sig")
# 大文件可先看前几行、指定列
df_preview = pd.read_csv("orders.csv", nrows=5, usecols=["order_id", "amount", "status"])

# Excel
xlsx = pd.read_excel("sales.xlsx", sheet_name="2026Q1")

写出结果

df.to_csv("clean_orders.csv", index=False, encoding="utf-8-sig")
df.to_excel("clean_orders.xlsx", index=False)

缺失值长什么样

print(df.isna().sum())          # 每列缺失数量
print(df.isna().mean().sort_values(ascending=False))  # 缺失比例

常见处理策略

# 1) 删除:缺失很少且随机
df2 = df.dropna(subset=["order_id", "user_id"])

# 2) 填充:数值用中位数,类别用众数/未知
df["amount"] = df["amount"].fillna(df["amount"].median())
df["city"] = df["city"].fillna("未知")

# 3) 标记:保留信息,另加一列
df["amount_missing"] = df["amount"].isna().astype(int)

类型也要一起修

df["order_date"] = pd.to_datetime(df["order_date"], errors="coerce")
df["amount"] = pd.to_numeric(df["amount"], errors="coerce")
df["status"] = df["status"].astype("category")

一条实用清洗流水线

def clean_orders(path: str) -> pd.DataFrame:
    df = pd.read_csv(path)
    df.columns = [c.strip().lower() for c in df.columns]
    df = df.drop_duplicates(subset=["order_id"])
    df["amount"] = pd.to_numeric(df["amount"], errors="coerce")
    df = df[df["amount"].notna() & (df["amount"] >= 0)]
    df["order_date"] = pd.to_datetime(df["order_date"], errors="coerce")
    return df.reset_index(drop=True)

先标准化列名 → 去重 → 转类型 → 再处理缺失,顺序很重要。