分页爬取思路

← 返回 Python3 爬虫入门

46.8 分页爬取思路

列表页 URL 常有 ?page=1,2,3… 或 /list/1/；循环构造 URL 逐页抓取。

终止条件：无数据、重复、超过最大页。

循环分页

# ========================================
# 示例：分页 URL 模式
# ========================================
import requests

for page in range(1, 4):
    url = f'https://httpbin.org/get?page={page}'
    r = requests.get(url, timeout=10)
    print('第', page, '页', r.json()['args'])