写爬虫绕不开反爬。正确心态不是「怎么硬刚」,而是识别机制、降低频率、合法合规。本文梳理常见手段与应对思路。
常见反爬手段
- User-Agent / Referer / Cookie 校验
- IP 频率限制、验证码、封禁
- JS 动态参数、接口签名
- 蜜罐链接、隐藏字段
- 登录态、设备指纹
基础:让请求更「像正常人」
import random
import time
import requests
SESSION = requests.Session()
SESSION.headers.update({
"User-Agent": "Mozilla/5.0 ...",
"Accept-Language": "zh-CN,zh;q=0.9",
})
def polite_get(url: str):
time.sleep(random.uniform(0.8, 1.8))
resp = SESSION.get(url, timeout=20)
if resp.status_code == 429:
time.sleep(5)
resp = SESSION.get(url, timeout=20)
resp.raise_for_status()
return resp
限流与重试
from tenacity import retry, stop_after_attempt, wait_exponential
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=1, max=8))
def get_with_retry(url: str):
r = SESSION.get(url, timeout=20)
r.raise_for_status()
return r
代理怎么用(概念)
proxies = {"http": "http://user:pass@host:port", "https": "http://user:pass@host:port"}
requests.get(url, proxies=proxies, timeout=20)
代理用于分散请求来源,但仍要控制频率;劣质代理会更不稳定。
合规红线
- 不抓取明确禁止、涉及个人隐私或付费墙后的内容。
- 优先使用官方 API / 开放数据。
- 学习项目控制规模,加延迟,保留日志便于自查。
记住:稳定、可维护、不违法,比一时抓得多更重要。