反爬常见手段与合规应对策略(限流、UA、代理)

写爬虫绕不开反爬。正确心态不是「怎么硬刚」,而是识别机制、降低频率、合法合规。本文梳理常见手段与应对思路。

常见反爬手段

  • User-Agent / Referer / Cookie 校验
  • IP 频率限制、验证码、封禁
  • JS 动态参数、接口签名
  • 蜜罐链接、隐藏字段
  • 登录态、设备指纹

基础:让请求更「像正常人」

import random
import time
import requests

SESSION = requests.Session()
SESSION.headers.update({
    "User-Agent": "Mozilla/5.0 ...",
    "Accept-Language": "zh-CN,zh;q=0.9",
})

def polite_get(url: str):
    time.sleep(random.uniform(0.8, 1.8))
    resp = SESSION.get(url, timeout=20)
    if resp.status_code == 429:
        time.sleep(5)
        resp = SESSION.get(url, timeout=20)
    resp.raise_for_status()
    return resp

限流与重试

from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=1, max=8))
def get_with_retry(url: str):
    r = SESSION.get(url, timeout=20)
    r.raise_for_status()
    return r

代理怎么用(概念)

proxies = {"http": "http://user:pass@host:port", "https": "http://user:pass@host:port"}
requests.get(url, proxies=proxies, timeout=20)

代理用于分散请求来源,但仍要控制频率;劣质代理会更不稳定。

合规红线

  1. 不抓取明确禁止、涉及个人隐私或付费墙后的内容。
  2. 优先使用官方 API / 开放数据。
  3. 学习项目控制规模,加延迟,保留日志便于自查。

记住:稳定、可维护、不违法,比一时抓得多更重要。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注