页面上「看得见、源码里没有」的内容,多半是 JavaScript 渲染出来的。这时 HTML 请求不够用,需要浏览器自动化。
什么时候该上浏览器
- 列表靠滚动/点击「加载更多」
- 数据在 Ajax 接口里,但接口难逆向或有复杂签名
- 需要真实点击、填表、等元素出现
Playwright 示例(推荐)
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto("https://example.com/list", wait_until="networkidle")
page.wait_for_selector(".item-title")
titles = page.eval_on_selector_all(
".item-title",
"els => els.map(e => e.textContent.trim())"
)
print(titles)
browser.close()
更稳的等待方式
# 等待某个接口返回
with page.expect_response(lambda r: "/api/items" in r.url and r.ok) as resp_info:
page.click("text=加载更多")
data = resp_info.value.json()
能拦到接口 JSON,往往比解析 DOM 更干净。
Selenium 对照思路
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("https://example.com/list")
els = WebDriverWait(driver, 10).until(
EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".item-title"))
)
titles = [e.text for e in els]
driver.quit()
性能与稳定性建议
- 能抓接口就抓接口,浏览器当备选。
- 固定显式等待,少用盲目
sleep。 - 生产环境用无头模式 + 资源拦截(图片/字体)加速。