用 Selenium / Playwright 处理动态渲染页面

页面上「看得见、源码里没有」的内容,多半是 JavaScript 渲染出来的。这时 HTML 请求不够用,需要浏览器自动化。

什么时候该上浏览器

  • 列表靠滚动/点击「加载更多」
  • 数据在 Ajax 接口里,但接口难逆向或有复杂签名
  • 需要真实点击、填表、等元素出现

Playwright 示例(推荐)

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    page = browser.new_page()
    page.goto("https://example.com/list", wait_until="networkidle")
    page.wait_for_selector(".item-title")
    titles = page.eval_on_selector_all(
        ".item-title",
        "els => els.map(e => e.textContent.trim())"
    )
    print(titles)
    browser.close()

更稳的等待方式

# 等待某个接口返回
with page.expect_response(lambda r: "/api/items" in r.url and r.ok) as resp_info:
    page.click("text=加载更多")
data = resp_info.value.json()

能拦到接口 JSON,往往比解析 DOM 更干净。

Selenium 对照思路

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://example.com/list")
els = WebDriverWait(driver, 10).until(
    EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".item-title"))
)
titles = [e.text for e in els]
driver.quit()

性能与稳定性建议

  1. 能抓接口就抓接口,浏览器当备选。
  2. 固定显式等待,少用盲目 sleep。
  3. 生产环境用无头模式 + 资源拦截(图片/字体)加速。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注