分类目录归档:网络爬虫

反爬常见手段与合规应对策略(限流、UA、代理)

写爬虫绕不开反爬。正确心态不是「怎么硬刚」,而是识别机制、降低频率、合法合规。本文梳理常见手段与应对思路。

常见反爬手段

  • User-Agent / Referer / Cookie 校验
  • IP 频率限制、验证码、封禁
  • JS 动态参数、接口签名
  • 蜜罐链接、隐藏字段
  • 登录态、设备指纹

基础:让请求更「像正常人」

import random
import time
import requests

SESSION = requests.Session()
SESSION.headers.update({
    "User-Agent": "Mozilla/5.0 ...",
    "Accept-Language": "zh-CN,zh;q=0.9",
})

def polite_get(url: str):
    time.sleep(random.uniform(0.8, 1.8))
    resp = SESSION.get(url, timeout=20)
    if resp.status_code == 429:
        time.sleep(5)
        resp = SESSION.get(url, timeout=20)
    resp.raise_for_status()
    return resp

限流与重试

from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=1, max=8))
def get_with_retry(url: str):
    r = SESSION.get(url, timeout=20)
    r.raise_for_status()
    return r

代理怎么用(概念)

proxies = {"http": "http://user:pass@host:port", "https": "http://user:pass@host:port"}
requests.get(url, proxies=proxies, timeout=20)

代理用于分散请求来源,但仍要控制频率;劣质代理会更不稳定。

合规红线

  1. 不抓取明确禁止、涉及个人隐私或付费墙后的内容。
  2. 优先使用官方 API / 开放数据。
  3. 学习项目控制规模,加延迟,保留日志便于自查。

记住:稳定、可维护、不违法,比一时抓得多更重要。

用 Selenium / Playwright 处理动态渲染页面

页面上「看得见、源码里没有」的内容,多半是 JavaScript 渲染出来的。这时 HTML 请求不够用,需要浏览器自动化。

什么时候该上浏览器

  • 列表靠滚动/点击「加载更多」
  • 数据在 Ajax 接口里,但接口难逆向或有复杂签名
  • 需要真实点击、填表、等元素出现

Playwright 示例(推荐)

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    page.goto("https://example.com/list", wait_until="networkidle")
    page.wait_for_selector(".item-title")
    titles = page.eval_on_selector_all(
        ".item-title",
        "els => els.map(e => e.textContent.trim())"
    )
    print(titles)
    browser.close()

更稳的等待方式

# 等待某个接口返回
with page.expect_response(lambda r: "/api/items" in r.url and r.ok) as resp_info:
    page.click("text=加载更多")
data = resp_info.value.json()

能拦到接口 JSON,往往比解析 DOM 更干净。

Selenium 对照思路

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://example.com/list")
els = WebDriverWait(driver, 10).until(
    EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".item-title"))
)
titles = [e.text for e in els]
driver.quit()

性能与稳定性建议

  1. 能抓接口就抓接口,浏览器当备选。
  2. 固定显式等待,少用盲目 sleep。
  3. 生产环境用无头模式 + 资源拦截(图片/字体)加速。

Requests + BeautifulSoup 抓取静态网页完整流程

静态网页爬虫是入门必经之路:发请求、拿 HTML、解析字段、落盘。本文用 requests + BeautifulSoup 走完一条可复用流水线。

环境准备

pip install requests beautifulsoup4 lxml

最小可运行示例

import csv
import time
import requests
from bs4 import BeautifulSoup

HEADERS = {
    "User-Agent": "Mozilla/5.0 (compatible; StudyBot/1.0; +https://antpython.net)"
}

def fetch(url: str) -> str:
    resp = requests.get(url, headers=HEADERS, timeout=15)
    resp.raise_for_status()
    resp.encoding = resp.apparent_encoding
    return resp.text

def parse_list(html: str):
    soup = BeautifulSoup(html, "lxml")
    items = []
    for a in soup.select("h2 a"):  # 按真实页面改选择器
        items.append({
            "title": a.get_text(strip=True),
            "url": a.get("href"),
        })
    return items

def save_csv(rows, path="result.csv"):
    with open(path, "w", newline="", encoding="utf-8-sig") as f:
        writer = csv.DictWriter(f, fieldnames=["title", "url"])
        writer.writeheader()
        writer.writerows(rows)

if __name__ == "__main__":
    html = fetch("https://example.com")
    rows = parse_list(html)
    save_csv(rows)
    print(f"共抓取 {len(rows)} 条")

选择器怎么找

  1. 浏览器 F12 → Elements 定位目标节点
  2. 优先用稳定的 class / 语义标签,少用超长绝对路径
  3. 先 print(soup.select(...)) 验证,再批量跑

礼貌爬取

  • 加 time.sleep(1),别把对方服务器打挂
  • 遵守 robots.txt 与网站服务条款
  • 只抓学习/公开数据,注意版权与隐私

常见报错速查

  • 403:UA/Headers 被拒,或需要登录 Cookie
  • 乱码:设置 resp.encoding
  • 空结果:选择器写错,或内容是 JS 动态加载(该换 Selenium/Playwright)