作为爬虫学习者最头疼的问题往往不是语法而是明明照着教程写了代码却总是遇到请求被拒绝、解析不到数据、抓包看不懂、跑了一会儿 IP 就被封。市面上关于 Python 网络爬虫的资料非常零散有的只讲 requests 用法有的只讲解析库真正把抓包、请求、解析、反爬应对、代理使用和工程化防坑串成完整体系的教程并不多。这篇文章就围绕完整的学习路径展开先讲清爬虫的基础概念与安全边界再搭建环境然后深入抓包原理、requests 请求、正则 / BeautifulSoup / XPath 三种解析方式最后用一个本地可复现的完整项目把流程串起来并补充反爬机制、IP 代理、常见问题排查和工程最佳实践。无论你是零基础入门还是已经写过简单爬虫但想系统补齐知识这篇文章都值得收藏。1. 爬虫是什么为什么要系统学习1.1 什么是网络爬虫网络爬虫Web Crawler / Spider是一种按照一定规则自动请求网页并提取数据的程序。你可以把它理解成一个模拟浏览器行为的机器人浏览器能访问网页、展示内容爬虫也能访问网页但它更关心的是页面背后的数据。一个最简单的爬虫流程只有四步构造请求指定目标 URL携带必要的请求头。获取响应服务端返回 HTML、JSON 或其他格式内容。解析数据从响应内容中提取真正需要的信息。保存结果把数据写入 CSV、Excel、JSON 或数据库。听起来很简单但实际开发中会遇到很多问题目标网站有访问频率限制怎么办页面数据是通过 JS 动态渲染的怎么办接口参数加密了怎么办请求头缺少某个字段导致返回 403 怎么办这些问题的解决思路就是爬虫学习中真正需要沉淀的经验。1.2 常见应用场景爬虫技术在很多正规业务中都有广泛应用搜索引擎搜索引擎本身就是超大规模的网络爬虫系统。数据采集与分析采集公开的商品价格、招聘信息、论文数据、天气数据用于市场分析和学术研究。内容聚合将多个公开信息源的内容聚合展示。自动化测试与监控定时检测网站可用性、接口响应时间。竞品研究与舆情分析采集公开的新闻评论、社交媒体内容辅助业务决策。值得说明的是以上场景都建立在“数据公开、采集行为合规、不影响目标服务正常运行”的前提下。爬虫本身是中性技术用在哪里、怎么用决定了它的性质。1.3 爬虫学习核心模块与合规边界一条完整的爬虫学习路线通常包含以下模块模块学习重点目的HTTP 基础请求方法、请求头、状态码、Cookie理解网页请求原理抓包调试浏览器开发者工具、Fiddler / Charles观察真实请求与响应请求库requests、httpx模拟发送网络请求解析库正则、BeautifulSoup、lxml从 HTML/JSON 中提取数据反爬机制UA 校验、频率限制、JS 渲染、参数签名理解网站防护思路代理与限速IP 代理、请求间隔合规采集时减轻目标站压力工程化日志、去重、断点续爬、异常处理让爬虫稳定可维护同时必须强调合规边界。任何人学习爬虫都应该遵守以下原则只采集公开数据不碰需要越权访问的非公开数据。遵守目标网站的 robots 协议和服务条款。控制请求频率不恶意高并发攻击目标服务。不采集个人隐私信息尤其是身份证、手机号、社交关系等敏感数据。采集的数据仅用于合法、合规的学习与研究。在理解了这些基础之后我们开始搭建环境。2. 环境准备与版本说明2.1 安装 Python 与虚拟环境本文示例以 Python 3 为例。如果你还没有安装 Python请到 Python 官网下载安装包安装时勾选“Add Python to PATH”。安装完成后在终端输入以下命令验证python --version pip --version为了不让不同项目的依赖互相干扰建议为每个爬虫项目创建独立的虚拟环境。以 venv 为例mkdir spider-tutorial cd spider-tutorial python -m venv venv # Windows 激活虚拟环境 venv\Scripts\activate # macOS / Linux 激活虚拟环境 source venv/bin/activate激活后命令行前面会出现(venv)标志说明当前已经进入虚拟环境。2.2 安装核心依赖库创建requirements.txt文件写入以下依赖requests2.31.0 beautifulsoup44.12.0 lxml5.1.0然后执行安装pip install -r requirements.txt各库作用如下requestsPython 最常用的 HTTP 请求库封装了底层的 urllibAPI 简洁。beautifulsoup4HTML 解析库可以用 CSS 选择器的方式提取节点。lxml高性能 XML/HTML 解析引擎BeautifulSoup 的解析器之一也支持 XPath。如果你计划后面做动态页面采集还可以准备 Selenium 或 Playwright本文先不展开。2.3 开发工具与调试工具代码编辑器推荐 VS Code 或 PyCharm。调试抓包推荐两个维度浏览器开发者工具F12 打开免费、方便、适合看网页请求。独立抓包工具Fiddler 或 Charles适合分析 App 请求、自定义代理调试。环境就绪后先来理解抓包。这是很多初学者最怕的部分其实只要弄清 HTTP 请求和响应的结构抓包就很简单。3. 抓包原理与常用抓包工具3.1 HTTP 请求与响应结构抓包的本质是“查看客户端与服务端之间传输的 HTTP 报文”。一个 HTTP 请求包含四个部分请求行请求方法 请求路径 HTTP 版本例如GET /books.html HTTP/1.1。请求头描述客户端信息和请求属性例如User-Agent、Cookie、Referer。请求体POST 请求时携带的表单数据或 JSON 数据。空行分隔请求头和请求体。服务端返回的响应包含状态行HTTP 版本 状态码 状态描述例如HTTP/1.1 200 OK。响应头返回的 Content-Type、Set-Cookie、Cache-Control 等。响应体实际返回的 HTML、JSON、图片二进制等。爬虫需要重点关注的请求头字段请求头作用User-Agent标识客户端类型常见反爬校验对象Referer标识请求来源页面部分服务校验防盗链Cookie维持登录态或会话状态Authorization接口鉴权令牌常见于 API 请求3.2 浏览器开发者工具抓包打开 Chrome 或 Edge按 F12 进入开发者工具切到 Network网络面板刷新页面就能看到所有资源请求。常用操作按 Fetch/XHR 过滤快速筛选接口请求只看 JSON 数据。点击某个请求查看 Headers、Payload、Preview、Response。复制请求为 cURL右键请求 - Copy - Copy as cURL可以快速了解完整请求信息。对于爬虫来说浏览器开发者工具是最常用的一层抓包工具。90% 的网页数据请求都能在 Network 中找到对应接口。3.3 Fiddler / Charles 抓包要点有些场景下爬虫需要分析 App 请求或者需要在开发时自定义代理这时候需要独立抓包工具。以 Fiddler 和 Charles 为例它们的工作原理类似在本机开启一个 HTTP 代理端口让客户端把流量转发到代理再由代理转发到服务端从而实现流量查看与修改。基本配置要点开启代理监听默认端口 Fiddler 是 8888Charles 是 8888。要抓取 HTTPS 流量需要安装并信任抓包工具的根证书。抓手机 App 时让手机和电脑处于同一局域网把手机 Wi-Fi 代理设置为电脑 IP 代理端口。安装证书后在手机设置中信任该证书。如果配置后仍然抓不到 HTTPS 请求常见原因是目标 App 使用了证书锁定Certificate Pinning也就是客户端只信任内置证书不信任系统根证书这种情况下常规抓包工具无法解密流量。遇到这类情况正确的做法是放弃对该 App 的数据采集而不是尝试绕过安全机制。3.4 移动端抓包的注意点关于 Android 7.0 及以上版本App 默认不再信任用户安装的 CA 证书即使安装了抓包工具的证书大多数 App 的 HTTPS 流量仍然无法解密。部分 App 在 debug 模式下会允许信任用户证书但 release 版通常不会。微信小程序抓包则更加复杂因为小程序运行在微信客户端提供的环境中部分请求会走微信的底层网络框架抓包工具只能看到部分请求。对于这些场景如果目标是研究技术原理可以了解即可如果是真正要采集数据请确保获得授权并遵守平台规则不要绕过安全限制。4. requests 数据请求与三种数据解析方式4.1 requests 基础用法requests 库是爬虫学习的核心请求库先熟悉它的基础 API。import requests # 最简单的 GET 请求 resp requests.get(https://httpbin.org/get) print(resp.status_code) # 200 print(resp.text) # 响应文本实际爬虫中更推荐显式携带请求头和超时时间import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36 } resp requests.get( https://httpbin.org/get, headersheaders, timeout10 ) if resp.status_code 200: print(resp.json()) else: print(请求失败:, resp.status_code)需要注意timeout 必须设置否则请求可能长时间卡住。resp.encoding 可能是错误的中文乱码时可以尝试resp.encoding resp.apparent_encoding。如果服务端返回 JSON可以直接调用resp.json()。4.2 正则表达式解析正则适合从 JSON 结构、纯文本中快速提取固定模式的字段但面对复杂 HTML 时不够直观。以提取价格为例import re html div classprice59.00/div prices re.findall(r([\d.]), html) print(prices) # [59.00]正则的优点是性能好、无需额外库缺点是嵌套 HTML 结构解析非常容易出错。建议只用于提取简单固定字段复杂结构交给 BeautifulSoup 或 XPath。4.3 BeautifulSoup 解析BeautifulSoup 是最友好的 HTML 解析库支持 CSS 选择器代码非常贴近前端开发习惯。from bs4 import BeautifulSoup html div classbook-item h2 classtitlePython编程快速上手/h2 p classauthor作者Albert/p span classprice59.00/span /div soup BeautifulSoup(html, html.parser) title soup.select_one(.title).get_text(stripTrue) author soup.select_one(.author).get_text(stripTrue) price soup.select_one(.price).get_text(stripTrue) print(title) # Python编程快速上手 print(author) # 作者Albert print(price) # 59.00select_one返回第一个匹配节点select返回所有匹配节点的列表。get_text(stripTrue)可以去除文本首尾空白。BeautifulSoup 默认使用 Python 内置的 html.parser速度尚可要追求性能可以换成 lxml 解析器BeautifulSoup(html, lxml)。4.4 XPath 解析与 lxmlXPath 是一种在 XML/HTML 文档中查找信息的语言lxml 是 Python 中高性能的 XPath 实现。它的表达能力强适合复杂层级筛选。from lxml import etree html div classbook-item h2 classtitlePython编程快速上手/h2 p classauthor作者Albert/p span classprice59.00/span /div tree etree.HTML(html) title tree.xpath(//div[classbook-item]//h2[classtitle]/text()) author tree.xpath(//div[classbook-item]//p[classauthor]/text()) price tree.xpath(//div[classbook-item]//span[classprice]/text()) print(title[0].strip()) # Python编程快速上手 print(author[0].strip()) # 作者Albert print(price[0].strip()) # 59.00XPath 的text()返回节点文本列表所以需要用索引访问第一个元素再做 strip 处理。对于包含子标签的复杂节点XPath 也可以很灵活地定位但表达式可读性比 CSS 选择器略差。4.5 三种解析方式对比解析方式易用性性能适用场景正则中等最快提取固定格式字段、JSON 字符串处理BeautifulSoup很好中等通用 HTML 解析、快速开发lxml XPath中等很快复杂层级筛选、大规模页面解析实际项目中经常混合使用先用 BeautifulSoup 定位节点再用正则清洗字段或者在大批量采集时只用 lxml XPath。下面进入完整的实战项目。5. 完整实战本地图书列表采集与保存这一节做一个完全可复现的本地项目。为了避免依赖外部站点、避免合规风险我们在本机启动一个简易 HTTP 服务模拟图书列表页面再用爬虫代码采集并解析数据。这样任何人都能完整跑通流程。5.1 构造本地演示服务创建server_demo.py# 文件路径项目根目录/server_demo.py from http.server import BaseHTTPRequestHandler, HTTPServer BOOKS_HTML !DOCTYPE html html langzh head meta charsetutf-8 title本地图书演示站/title /head body div classbook-list div classbook-item h2 classtitlePython编程快速上手/h2 p classauthor作者Albert/p span classprice59.00/span /div div classbook-item h2 classtitlePython网络爬虫入门/h2 p classauthor作者Bob/p span classprice79.00/span /div div classbook-item h2 classtitle数据挖掘实战/h2 p classauthor作者Cathy/p span classprice89.00/span /div /div /body /html class BookHandler(BaseHTTPRequestHandler): def do_GET(self): if self.path /books.html: content BOOKS_HTML.encode(utf-8) self.send_response(200) self.send_header(Content-Type, text/html; charsetutf-8) self.send_header(Content-Length, str(len(content))) self.end_headers() self.wfile.write(content) else: self.send_error(404) def log_message(self, format, *args): pass if __name__ __main__: server HTTPServer((127.0.0.1, 8000), BookHandler) print(演示服务已启动http://127.0.0.1:8000/books.html) server.serve_forever()在虚拟环境中运行python server_demo.py浏览器访问http://127.0.0.1:8000/books.html可以看到一个简单的图书列表页面。5.2 编写爬虫采集代码创建spider_demo.py请求本地页面用 BeautifulSoup 解析三本书的信息并保存为 CSV 和 JSON# 文件路径项目根目录/spider_demo.py import csv import json import requests from bs4 import BeautifulSoup BASE_URL http://127.0.0.1:8000/books.html HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36 } def fetch_html(url): 请求页面并返回文本内容 resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding return resp.text def parse_books(html): 从 HTML 中解析图书列表 soup BeautifulSoup(html, lxml) books [] for item in soup.select(.book-item): title item.select_one(.title).get_text(stripTrue) author item.select_one(.author).get_text(stripTrue) price item.select_one(.price).get_text(stripTrue) books.append({ title: title, author: author, price: price }) return books def save_csv(books, pathbooks.csv): 保存为 CSV 文件 with open(path, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[title, author, price]) writer.writeheader() writer.writerows(books) def save_json(books, pathbooks.json): 保存为 JSON 文件 with open(path, w, encodingutf-8) as f: json.dump(books, f, ensure_asciiFalse, indent2) if __name__ __main__: html fetch_html(BASE_URL) books parse_books(html) save_csv(books) save_json(books) for book in books: print(book)代码中几个关键点fetch_html负责请求并且raise_for_status()会让状态码非 2xx 时抛异常。parse_books使用 CSS 选择器定位书籍节点把每本书封装成字典。save_csv使用utf-8-sig编码这样 Excel 打开 CSV 不会乱码。save_json设置ensure_asciiFalse保证中文正常显示。5.3 运行与结果说明启动演示服务后另开一个终端运行爬虫python spider_demo.py预期输出{title: Python编程快速上手, author: 作者Albert, price: 59.00} {title: Python网络爬虫入门, author: 作者Bob, price: 79.00} {title: 数据挖掘实战, author: 作者Cathy, price: 89.00}同时项目根目录会生成books.csv和books.json两个文件。到这里一个完整的“请求 - 解析 - 保存”流程就跑通了。为了让这个项目更完整还可以增加一个功能解析完成后使用 lxml 再验证一遍提取结果是否一致。这种双解析器校验的方式在生产中很实用可以排除单个解析器对异常 HTML 的处理差异。6. 常见反爬机制与合规应对思路6.1 常见反爬机制这里介绍的目的是让开发者理解网站防护原理从而在开发自己的爬虫或评估自有服务安全性时有更清晰的认识。以下机制都是公开通用的防护思路User-Agent 校验服务端检查请求头中的 UA非浏览器 UA 直接拒绝。访问频率限制同一 IP 在短时间内请求次数过多返回 403 或要求验证。Cookie / 登录态校验部分数据需要登录后才能采集。Referer 校验检查请求来源页面防止跨站调用接口。参数签名请求参数中带有加密签名签名算法不在网页源码中。JS 动态渲染数据由前端 JS 异步加载直接请求 HTML 拿不到数据。字体反爬页面文本使用自定义字体映射复制到的文本看似正常但其实是乱码。验证码高频访问后弹出滑块或图片验证码。6.2 合规应对思路如果目标页面是公开页面且你的采集行为合理、有授权、频率适中通常会遇到的只有 UA 校验和基础频率限制。这时可以这样处理设置合法的浏览器 User-Agent。控制请求间隔设置随机延时。使用 Session 保持会话避免频繁重建连接。对需要登录的接口走正常注册登录流程并使用自己的账号凭据。对 JS 渲染页面优先找接口找不到接口再考虑渲染工具。请不要尝试破解验证码、逆向签名算法、绕过登录权限或利用接口漏洞。这些行为可能涉及违法和违规也不符合技术学习的初衷。6.3 请求频率与重试策略一个合理的请求策略应该包含限速、重试和异常处理。示例如下import time import random import requests from requests.exceptions import RequestException HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36 } def safe_request(url, max_retries3): for attempt in range(max_retries): try: resp requests.get(url, headersHEADERS, timeout10) if resp.status_code 200: return resp time.sleep(2 * (attempt 1)) except RequestException as e: print(f第 {attempt 1} 次请求异常: {e}) time.sleep(2 * (attempt 1)) return None for page in range(1, 11): resp safe_request(fhttps://example.com/list?page{page}) if resp: print(f第 {page} 页请求成功) # 随机休眠模拟人类操作降低对目标服务的压力 time.sleep(random.uniform(1, 3))这里使用的是退避重试策略第一次失败等待 2 秒第二次失败等待 4 秒第三次失败等待 6 秒。随机延时则是为了让请求节奏更接近真人操作。7. IP 代理的选择与使用7.1 IP 代理的作用在合法、已授权的数据采集中代理可以用作分布式请求的一部分帮助减轻单个出口 IP 对目标服务造成的压力。常见场景包括同一任务需要大量请求使用多个出口 IP 分散负载。接口调试时验证不同网络环境下的表现。公司内部数据采集业务中通过合规代理统一管理出口流量。这里必须强调不要使用代理去绕过网站的安全限制也不要在未授权场景下批量采集他人数据。个人学习阶段本地演示项目通常不需要代理。7.2 代理池的基本设计一个基于代理池的采集系统通常包含三个模块代理获取模块从合法渠道购买或申请代理资源这里不讨论任何不合规的爬取代理接口。代理校验模块定时检测代理是否可用、响应速度如何。代理调度模块按策略选择代理请求失败时自动切换。对于初学者可以先学习“在 requests 中使用单个代理”再理解代理池的调度思路。7.3 代理使用代码示例requests 使用代理的写法很简单import requests proxies { http: http://127.0.0.1:7890, https: http://127.0.0.1:7890 } resp requests.get( https://httpbin.org/ip, proxiesproxies, timeout10 ) print(resp.json())一个简单的代理轮换实现思路import random import requests PROXY_LIST [ {http: http://ip1:port, https: http://ip1:port}, {http: http://ip2:port, https: http://ip2:port}, ] def request_with_proxy(url, timeout10): proxy random.choice(PROXY_LIST) try: resp requests.get(url, proxiesproxy, timeouttimeout) return resp except requests.exceptions.RequestException: # 当前代理失效可以换下一个代理重试 for backup in PROXY_LIST: if backup proxy: continue try: resp requests.get(url, proxiesbackup, timeouttimeout) return resp except requests.exceptions.RequestException: continue return None这只是一个调度雏形。生产环境中代理列表应该来自稳定的代理服务商并且要定期检测代理可用率和响应速度剔除失效节点。7.4 使用代理的注意事项代理并不是越多越好低质量代理反而会带来连接失败、响应缓慢的问题。在本地调试阶段不要使用代理避免引入不必要的变量。代理服务商的选择要谨慎不要使用来源不明的免费代理既不稳定也不安全。被代理服务器本身会记录你的访问日志涉及账号登录的操作要格外小心。如果目标是国内公开站点优先考虑网络链路稳定、延迟低的代理资源。8. 高频问题与排查清单8.1 常见错误一览表问题现象常见原因解决思路返回乱码响应编码识别错误设置resp.encoding resp.apparent_encodingSSL 证书报错目标站证书链不全或被拦截本地测试可临时verifyFalse生产环境建议配置证书请求超时网络不稳定或对方响应慢设置 timeout并增加重试机制返回 403 / 418请求头缺失或触发频率限制补全 User-Agent、Referer降低请求频率返回 503服务端拒绝服务或正在维护退避重试避免集中请求JSON 解析失败接口返回 HTML 或未登录提示先打印 resp.text 查看原文解析结果为空CSS 选择器或 XPath 写错用浏览器复制真实节点结构再调整定位抓不到 HTTPS 包未安装证书或 App 证书锁定安装并信任根证书遇到证书锁定请不要尝试绕过使用代理后请求失败代理本身不可用校验代理连通性配置备用代理爬虫跑一会 IP 被封请求频率过高增加随机休眠限制并发数8.2 抓包分析排查步骤如果你使用 Fiddler 或 Charles抓包失败的排查顺序建议如下确认代理端口监听正常。确认目标请求确实走代理而不是走了系统其他代理配置。配置 HTTPS 解密并信任根证书。查看浏览器或 App 是否强制校验系统代理。检查请求是否被服务端拒绝返回 403 或 4xx。对于 App 抓包还要注意 App 是否开启代理检测以及 Android 7.0 的用户证书信任问题。8.3 请求被拒绝排查清单当爬虫请求返回异常时按顺序检查状态码是多少200 表示正常403/418 表示被拦截。请求头是否完整是否缺少 User-Agent、Referer、Cookie是否已经登录接口是否需要 Token请求频率是否过高连续请求间隔是否过短是否触发了验证码机制如果是停止采集并等待恢复。数据是否通过 JS 动态加载当前请求的 URL 是否真的包含数据把这六个问题想清楚大多数请求失败问题都能定位。9. 防封避坑与工程最佳实践“防封”不是教大家想办法对付网站而是在合法采集中保持稳定、降低对目标服务的干扰。真正稳定的爬虫靠的不是技巧而是规则。9.1 请求层面统一管理请求头把 UA、Accept、Accept-Language 等公共头抽成一个模块方便复用。设置合理间隔每次请求之间至少间隔 1~3 秒随机延时比固定延时更接近真人。使用 Session 复用连接多次请求同一个站点时Session 可以复用 TCP 连接减少握手开销。限制最大并发数即使使用多线程也不要盲开几十个线程。生产环境建议用线程池并限制并发为 3~5。设置总请求上限单次任务限制请求次数防止死循环。9.2 数据层面数据去重用标题、URL 或字段组合做唯一标识避免重复入库。增量更新记录上次采集位置下次只采集新增部分而不是全量重跑。数据校验解析后先检查字段是否合理比如价格不能为负数。存储格式规范化CSV 统一使用 utf-8-sigJSON 统一 ensure_asciiFalse。定期备份数据库和文件定期备份防止误操作导致数据丢失。9.3 代码层面异常分类捕获单独捕获requests.exceptions.Timeout、ConnectionError而不是统一 except。加日志记录每次请求的 URL、状态码、耗时方便回溯问题。配置外置URL、请求头、延时范围、保存路径都放到配置文件或环境变量。断点续爬记录已完成的页码或 ID程序中断后可以从断点继续。遵守最小权限原则不需要登录的页面尽量不登录不需要的字段尽量不采集。下面是一段带日志和重试的采集片段可以作为工程化参考import time import logging import random import requests from requests.exceptions import RequestException logging.basicConfig(levellogging.INFO, format%(asctime)s %(levelname)s %(message)s) def fetch_with_log(url, sessionNone, max_retries3): session session or requests.Session() for attempt in range(max_retries): try: resp session.get(url, timeout10) logging.info(f{url} - {resp.status_code}, 耗时 {resp.elapsed.total_seconds():.2f}s) if resp.status_code 200: return resp logging.warning(f状态码异常: {resp.status_code}, 第 {attempt 1} 次) except RequestException as e: logging.error(f请求异常: {e}, 第 {attempt 1} 次) time.sleep(2 * (attempt 1)) return None10. 学习路线与经验总结爬虫技术的学习路径可以分五个阶段每个阶段都有明确的交付成果阶段一Python 基础 HTTP 原理能写出最简单的 requests 请求。阶段二掌握 BeautifulSoup 和 XPath能从 HTML 中提取字段并保存文件。阶段三掌握抓包工具能快速定位页面请求接口分析请求头、请求参数和响应结构。阶段四理解常见反爬机制学会限速、重试、Session、渲染工具等合规应对手段。阶段五把爬虫工程化加入日志、去重、断点续爬、代理池和数据存储方案。你在本文中已经走完了前三个阶段并且通过本地图书项目完整跑通了一次采集流程。接下来建议你做三件事给本地项目增加日志和重试机制感受工程化改造前后的差异。找一个公开、合规的练习网站重新完成一次“抓包 - 请求 - 解析 - 保存”流程。把学习重点从“怎么爬”转向“数据怎么用”思考你采集的数据能给业务或研究带来什么价值。爬虫学的并不是某个库的 API而是一套解决问题的思路先理解网络请求再观察数据来源然后用合适的方式提取和存储数据。无论是做数据采集、接口调试还是搭建自动化程序这套思路都能复用。把基础打牢后续学习 Scrapy 框架、分布式采集、异步爬虫时你会发现核心原理都是相通的。最后提醒一句所有采集行为都要先确认数据公开、符合目标平台规则、不侵害他人权益。技术能力越强越应该把规则放在心上。如果你在跑通了本地项目之后对某个环节还有疑问欢迎对照文章中的排查清单再走一遍流程很多问题其实是请求头、编码或频率设置造成的。 Python网络爬虫实战：从抓包到解析的完整学习路径
作为爬虫学习者最头疼的问题往往不是语法而是明明照着教程写了代码却总是遇到请求被拒绝、解析不到数据、抓包看不懂、跑了一会儿 IP 就被封。市面上关于 Python 网络爬虫的资料非常零散有的只讲 requests 用法有的只讲解析库真正把抓包、请求、解析、反爬应对、代理使用和工程化防坑串成完整体系的教程并不多。这篇文章就围绕完整的学习路径展开先讲清爬虫的基础概念与安全边界再搭建环境然后深入抓包原理、requests 请求、正则 / BeautifulSoup / XPath 三种解析方式最后用一个本地可复现的完整项目把流程串起来并补充反爬机制、IP 代理、常见问题排查和工程最佳实践。无论你是零基础入门还是已经写过简单爬虫但想系统补齐知识这篇文章都值得收藏。1. 爬虫是什么为什么要系统学习1.1 什么是网络爬虫网络爬虫Web Crawler / Spider是一种按照一定规则自动请求网页并提取数据的程序。你可以把它理解成一个模拟浏览器行为的机器人浏览器能访问网页、展示内容爬虫也能访问网页但它更关心的是页面背后的数据。一个最简单的爬虫流程只有四步构造请求指定目标 URL携带必要的请求头。获取响应服务端返回 HTML、JSON 或其他格式内容。解析数据从响应内容中提取真正需要的信息。保存结果把数据写入 CSV、Excel、JSON 或数据库。听起来很简单但实际开发中会遇到很多问题目标网站有访问频率限制怎么办页面数据是通过 JS 动态渲染的怎么办接口参数加密了怎么办请求头缺少某个字段导致返回 403 怎么办这些问题的解决思路就是爬虫学习中真正需要沉淀的经验。1.2 常见应用场景爬虫技术在很多正规业务中都有广泛应用搜索引擎搜索引擎本身就是超大规模的网络爬虫系统。数据采集与分析采集公开的商品价格、招聘信息、论文数据、天气数据用于市场分析和学术研究。内容聚合将多个公开信息源的内容聚合展示。自动化测试与监控定时检测网站可用性、接口响应时间。竞品研究与舆情分析采集公开的新闻评论、社交媒体内容辅助业务决策。值得说明的是以上场景都建立在“数据公开、采集行为合规、不影响目标服务正常运行”的前提下。爬虫本身是中性技术用在哪里、怎么用决定了它的性质。1.3 爬虫学习核心模块与合规边界一条完整的爬虫学习路线通常包含以下模块模块学习重点目的HTTP 基础请求方法、请求头、状态码、Cookie理解网页请求原理抓包调试浏览器开发者工具、Fiddler / Charles观察真实请求与响应请求库requests、httpx模拟发送网络请求解析库正则、BeautifulSoup、lxml从 HTML/JSON 中提取数据反爬机制UA 校验、频率限制、JS 渲染、参数签名理解网站防护思路代理与限速IP 代理、请求间隔合规采集时减轻目标站压力工程化日志、去重、断点续爬、异常处理让爬虫稳定可维护同时必须强调合规边界。任何人学习爬虫都应该遵守以下原则只采集公开数据不碰需要越权访问的非公开数据。遵守目标网站的 robots 协议和服务条款。控制请求频率不恶意高并发攻击目标服务。不采集个人隐私信息尤其是身份证、手机号、社交关系等敏感数据。采集的数据仅用于合法、合规的学习与研究。在理解了这些基础之后我们开始搭建环境。2. 环境准备与版本说明2.1 安装 Python 与虚拟环境本文示例以 Python 3 为例。如果你还没有安装 Python请到 Python 官网下载安装包安装时勾选“Add Python to PATH”。安装完成后在终端输入以下命令验证python --version pip --version为了不让不同项目的依赖互相干扰建议为每个爬虫项目创建独立的虚拟环境。以 venv 为例mkdir spider-tutorial cd spider-tutorial python -m venv venv # Windows 激活虚拟环境 venv\Scripts\activate # macOS / Linux 激活虚拟环境 source venv/bin/activate激活后命令行前面会出现(venv)标志说明当前已经进入虚拟环境。2.2 安装核心依赖库创建requirements.txt文件写入以下依赖requests2.31.0 beautifulsoup44.12.0 lxml5.1.0然后执行安装pip install -r requirements.txt各库作用如下requestsPython 最常用的 HTTP 请求库封装了底层的 urllibAPI 简洁。beautifulsoup4HTML 解析库可以用 CSS 选择器的方式提取节点。lxml高性能 XML/HTML 解析引擎BeautifulSoup 的解析器之一也支持 XPath。如果你计划后面做动态页面采集还可以准备 Selenium 或 Playwright本文先不展开。2.3 开发工具与调试工具代码编辑器推荐 VS Code 或 PyCharm。调试抓包推荐两个维度浏览器开发者工具F12 打开免费、方便、适合看网页请求。独立抓包工具Fiddler 或 Charles适合分析 App 请求、自定义代理调试。环境就绪后先来理解抓包。这是很多初学者最怕的部分其实只要弄清 HTTP 请求和响应的结构抓包就很简单。3. 抓包原理与常用抓包工具3.1 HTTP 请求与响应结构抓包的本质是“查看客户端与服务端之间传输的 HTTP 报文”。一个 HTTP 请求包含四个部分请求行请求方法 请求路径 HTTP 版本例如GET /books.html HTTP/1.1。请求头描述客户端信息和请求属性例如User-Agent、Cookie、Referer。请求体POST 请求时携带的表单数据或 JSON 数据。空行分隔请求头和请求体。服务端返回的响应包含状态行HTTP 版本 状态码 状态描述例如HTTP/1.1 200 OK。响应头返回的 Content-Type、Set-Cookie、Cache-Control 等。响应体实际返回的 HTML、JSON、图片二进制等。爬虫需要重点关注的请求头字段请求头作用User-Agent标识客户端类型常见反爬校验对象Referer标识请求来源页面部分服务校验防盗链Cookie维持登录态或会话状态Authorization接口鉴权令牌常见于 API 请求3.2 浏览器开发者工具抓包打开 Chrome 或 Edge按 F12 进入开发者工具切到 Network网络面板刷新页面就能看到所有资源请求。常用操作按 Fetch/XHR 过滤快速筛选接口请求只看 JSON 数据。点击某个请求查看 Headers、Payload、Preview、Response。复制请求为 cURL右键请求 - Copy - Copy as cURL可以快速了解完整请求信息。对于爬虫来说浏览器开发者工具是最常用的一层抓包工具。90% 的网页数据请求都能在 Network 中找到对应接口。3.3 Fiddler / Charles 抓包要点有些场景下爬虫需要分析 App 请求或者需要在开发时自定义代理这时候需要独立抓包工具。以 Fiddler 和 Charles 为例它们的工作原理类似在本机开启一个 HTTP 代理端口让客户端把流量转发到代理再由代理转发到服务端从而实现流量查看与修改。基本配置要点开启代理监听默认端口 Fiddler 是 8888Charles 是 8888。要抓取 HTTPS 流量需要安装并信任抓包工具的根证书。抓手机 App 时让手机和电脑处于同一局域网把手机 Wi-Fi 代理设置为电脑 IP 代理端口。安装证书后在手机设置中信任该证书。如果配置后仍然抓不到 HTTPS 请求常见原因是目标 App 使用了证书锁定Certificate Pinning也就是客户端只信任内置证书不信任系统根证书这种情况下常规抓包工具无法解密流量。遇到这类情况正确的做法是放弃对该 App 的数据采集而不是尝试绕过安全机制。3.4 移动端抓包的注意点关于 Android 7.0 及以上版本App 默认不再信任用户安装的 CA 证书即使安装了抓包工具的证书大多数 App 的 HTTPS 流量仍然无法解密。部分 App 在 debug 模式下会允许信任用户证书但 release 版通常不会。微信小程序抓包则更加复杂因为小程序运行在微信客户端提供的环境中部分请求会走微信的底层网络框架抓包工具只能看到部分请求。对于这些场景如果目标是研究技术原理可以了解即可如果是真正要采集数据请确保获得授权并遵守平台规则不要绕过安全限制。4. requests 数据请求与三种数据解析方式4.1 requests 基础用法requests 库是爬虫学习的核心请求库先熟悉它的基础 API。import requests # 最简单的 GET 请求 resp requests.get(https://httpbin.org/get) print(resp.status_code) # 200 print(resp.text) # 响应文本实际爬虫中更推荐显式携带请求头和超时时间import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36 } resp requests.get( https://httpbin.org/get, headersheaders, timeout10 ) if resp.status_code 200: print(resp.json()) else: print(请求失败:, resp.status_code)需要注意timeout 必须设置否则请求可能长时间卡住。resp.encoding 可能是错误的中文乱码时可以尝试resp.encoding resp.apparent_encoding。如果服务端返回 JSON可以直接调用resp.json()。4.2 正则表达式解析正则适合从 JSON 结构、纯文本中快速提取固定模式的字段但面对复杂 HTML 时不够直观。以提取价格为例import re html div classprice59.00/div prices re.findall(r([\d.]), html) print(prices) # [59.00]正则的优点是性能好、无需额外库缺点是嵌套 HTML 结构解析非常容易出错。建议只用于提取简单固定字段复杂结构交给 BeautifulSoup 或 XPath。4.3 BeautifulSoup 解析BeautifulSoup 是最友好的 HTML 解析库支持 CSS 选择器代码非常贴近前端开发习惯。from bs4 import BeautifulSoup html div classbook-item h2 classtitlePython编程快速上手/h2 p classauthor作者Albert/p span classprice59.00/span /div soup BeautifulSoup(html, html.parser) title soup.select_one(.title).get_text(stripTrue) author soup.select_one(.author).get_text(stripTrue) price soup.select_one(.price).get_text(stripTrue) print(title) # Python编程快速上手 print(author) # 作者Albert print(price) # 59.00select_one返回第一个匹配节点select返回所有匹配节点的列表。get_text(stripTrue)可以去除文本首尾空白。BeautifulSoup 默认使用 Python 内置的 html.parser速度尚可要追求性能可以换成 lxml 解析器BeautifulSoup(html, lxml)。4.4 XPath 解析与 lxmlXPath 是一种在 XML/HTML 文档中查找信息的语言lxml 是 Python 中高性能的 XPath 实现。它的表达能力强适合复杂层级筛选。from lxml import etree html div classbook-item h2 classtitlePython编程快速上手/h2 p classauthor作者Albert/p span classprice59.00/span /div tree etree.HTML(html) title tree.xpath(//div[classbook-item]//h2[classtitle]/text()) author tree.xpath(//div[classbook-item]//p[classauthor]/text()) price tree.xpath(//div[classbook-item]//span[classprice]/text()) print(title[0].strip()) # Python编程快速上手 print(author[0].strip()) # 作者Albert print(price[0].strip()) # 59.00XPath 的text()返回节点文本列表所以需要用索引访问第一个元素再做 strip 处理。对于包含子标签的复杂节点XPath 也可以很灵活地定位但表达式可读性比 CSS 选择器略差。4.5 三种解析方式对比解析方式易用性性能适用场景正则中等最快提取固定格式字段、JSON 字符串处理BeautifulSoup很好中等通用 HTML 解析、快速开发lxml XPath中等很快复杂层级筛选、大规模页面解析实际项目中经常混合使用先用 BeautifulSoup 定位节点再用正则清洗字段或者在大批量采集时只用 lxml XPath。下面进入完整的实战项目。5. 完整实战本地图书列表采集与保存这一节做一个完全可复现的本地项目。为了避免依赖外部站点、避免合规风险我们在本机启动一个简易 HTTP 服务模拟图书列表页面再用爬虫代码采集并解析数据。这样任何人都能完整跑通流程。5.1 构造本地演示服务创建server_demo.py# 文件路径项目根目录/server_demo.py from http.server import BaseHTTPRequestHandler, HTTPServer BOOKS_HTML !DOCTYPE html html langzh head meta charsetutf-8 title本地图书演示站/title /head body div classbook-list div classbook-item h2 classtitlePython编程快速上手/h2 p classauthor作者Albert/p span classprice59.00/span /div div classbook-item h2 classtitlePython网络爬虫入门/h2 p classauthor作者Bob/p span classprice79.00/span /div div classbook-item h2 classtitle数据挖掘实战/h2 p classauthor作者Cathy/p span classprice89.00/span /div /div /body /html class BookHandler(BaseHTTPRequestHandler): def do_GET(self): if self.path /books.html: content BOOKS_HTML.encode(utf-8) self.send_response(200) self.send_header(Content-Type, text/html; charsetutf-8) self.send_header(Content-Length, str(len(content))) self.end_headers() self.wfile.write(content) else: self.send_error(404) def log_message(self, format, *args): pass if __name__ __main__: server HTTPServer((127.0.0.1, 8000), BookHandler) print(演示服务已启动http://127.0.0.1:8000/books.html) server.serve_forever()在虚拟环境中运行python server_demo.py浏览器访问http://127.0.0.1:8000/books.html可以看到一个简单的图书列表页面。5.2 编写爬虫采集代码创建spider_demo.py请求本地页面用 BeautifulSoup 解析三本书的信息并保存为 CSV 和 JSON# 文件路径项目根目录/spider_demo.py import csv import json import requests from bs4 import BeautifulSoup BASE_URL http://127.0.0.1:8000/books.html HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36 } def fetch_html(url): 请求页面并返回文本内容 resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding return resp.text def parse_books(html): 从 HTML 中解析图书列表 soup BeautifulSoup(html, lxml) books [] for item in soup.select(.book-item): title item.select_one(.title).get_text(stripTrue) author item.select_one(.author).get_text(stripTrue) price item.select_one(.price).get_text(stripTrue) books.append({ title: title, author: author, price: price }) return books def save_csv(books, pathbooks.csv): 保存为 CSV 文件 with open(path, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[title, author, price]) writer.writeheader() writer.writerows(books) def save_json(books, pathbooks.json): 保存为 JSON 文件 with open(path, w, encodingutf-8) as f: json.dump(books, f, ensure_asciiFalse, indent2) if __name__ __main__: html fetch_html(BASE_URL) books parse_books(html) save_csv(books) save_json(books) for book in books: print(book)代码中几个关键点fetch_html负责请求并且raise_for_status()会让状态码非 2xx 时抛异常。parse_books使用 CSS 选择器定位书籍节点把每本书封装成字典。save_csv使用utf-8-sig编码这样 Excel 打开 CSV 不会乱码。save_json设置ensure_asciiFalse保证中文正常显示。5.3 运行与结果说明启动演示服务后另开一个终端运行爬虫python spider_demo.py预期输出{title: Python编程快速上手, author: 作者Albert, price: 59.00} {title: Python网络爬虫入门, author: 作者Bob, price: 79.00} {title: 数据挖掘实战, author: 作者Cathy, price: 89.00}同时项目根目录会生成books.csv和books.json两个文件。到这里一个完整的“请求 - 解析 - 保存”流程就跑通了。为了让这个项目更完整还可以增加一个功能解析完成后使用 lxml 再验证一遍提取结果是否一致。这种双解析器校验的方式在生产中很实用可以排除单个解析器对异常 HTML 的处理差异。6. 常见反爬机制与合规应对思路6.1 常见反爬机制这里介绍的目的是让开发者理解网站防护原理从而在开发自己的爬虫或评估自有服务安全性时有更清晰的认识。以下机制都是公开通用的防护思路User-Agent 校验服务端检查请求头中的 UA非浏览器 UA 直接拒绝。访问频率限制同一 IP 在短时间内请求次数过多返回 403 或要求验证。Cookie / 登录态校验部分数据需要登录后才能采集。Referer 校验检查请求来源页面防止跨站调用接口。参数签名请求参数中带有加密签名签名算法不在网页源码中。JS 动态渲染数据由前端 JS 异步加载直接请求 HTML 拿不到数据。字体反爬页面文本使用自定义字体映射复制到的文本看似正常但其实是乱码。验证码高频访问后弹出滑块或图片验证码。6.2 合规应对思路如果目标页面是公开页面且你的采集行为合理、有授权、频率适中通常会遇到的只有 UA 校验和基础频率限制。这时可以这样处理设置合法的浏览器 User-Agent。控制请求间隔设置随机延时。使用 Session 保持会话避免频繁重建连接。对需要登录的接口走正常注册登录流程并使用自己的账号凭据。对 JS 渲染页面优先找接口找不到接口再考虑渲染工具。请不要尝试破解验证码、逆向签名算法、绕过登录权限或利用接口漏洞。这些行为可能涉及违法和违规也不符合技术学习的初衷。6.3 请求频率与重试策略一个合理的请求策略应该包含限速、重试和异常处理。示例如下import time import random import requests from requests.exceptions import RequestException HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0 Safari/537.36 } def safe_request(url, max_retries3): for attempt in range(max_retries): try: resp requests.get(url, headersHEADERS, timeout10) if resp.status_code 200: return resp time.sleep(2 * (attempt 1)) except RequestException as e: print(f第 {attempt 1} 次请求异常: {e}) time.sleep(2 * (attempt 1)) return None for page in range(1, 11): resp safe_request(fhttps://example.com/list?page{page}) if resp: print(f第 {page} 页请求成功) # 随机休眠模拟人类操作降低对目标服务的压力 time.sleep(random.uniform(1, 3))这里使用的是退避重试策略第一次失败等待 2 秒第二次失败等待 4 秒第三次失败等待 6 秒。随机延时则是为了让请求节奏更接近真人操作。7. IP 代理的选择与使用7.1 IP 代理的作用在合法、已授权的数据采集中代理可以用作分布式请求的一部分帮助减轻单个出口 IP 对目标服务造成的压力。常见场景包括同一任务需要大量请求使用多个出口 IP 分散负载。接口调试时验证不同网络环境下的表现。公司内部数据采集业务中通过合规代理统一管理出口流量。这里必须强调不要使用代理去绕过网站的安全限制也不要在未授权场景下批量采集他人数据。个人学习阶段本地演示项目通常不需要代理。7.2 代理池的基本设计一个基于代理池的采集系统通常包含三个模块代理获取模块从合法渠道购买或申请代理资源这里不讨论任何不合规的爬取代理接口。代理校验模块定时检测代理是否可用、响应速度如何。代理调度模块按策略选择代理请求失败时自动切换。对于初学者可以先学习“在 requests 中使用单个代理”再理解代理池的调度思路。7.3 代理使用代码示例requests 使用代理的写法很简单import requests proxies { http: http://127.0.0.1:7890, https: http://127.0.0.1:7890 } resp requests.get( https://httpbin.org/ip, proxiesproxies, timeout10 ) print(resp.json())一个简单的代理轮换实现思路import random import requests PROXY_LIST [ {http: http://ip1:port, https: http://ip1:port}, {http: http://ip2:port, https: http://ip2:port}, ] def request_with_proxy(url, timeout10): proxy random.choice(PROXY_LIST) try: resp requests.get(url, proxiesproxy, timeouttimeout) return resp except requests.exceptions.RequestException: # 当前代理失效可以换下一个代理重试 for backup in PROXY_LIST: if backup proxy: continue try: resp requests.get(url, proxiesbackup, timeouttimeout) return resp except requests.exceptions.RequestException: continue return None这只是一个调度雏形。生产环境中代理列表应该来自稳定的代理服务商并且要定期检测代理可用率和响应速度剔除失效节点。7.4 使用代理的注意事项代理并不是越多越好低质量代理反而会带来连接失败、响应缓慢的问题。在本地调试阶段不要使用代理避免引入不必要的变量。代理服务商的选择要谨慎不要使用来源不明的免费代理既不稳定也不安全。被代理服务器本身会记录你的访问日志涉及账号登录的操作要格外小心。如果目标是国内公开站点优先考虑网络链路稳定、延迟低的代理资源。8. 高频问题与排查清单8.1 常见错误一览表问题现象常见原因解决思路返回乱码响应编码识别错误设置resp.encoding resp.apparent_encodingSSL 证书报错目标站证书链不全或被拦截本地测试可临时verifyFalse生产环境建议配置证书请求超时网络不稳定或对方响应慢设置 timeout并增加重试机制返回 403 / 418请求头缺失或触发频率限制补全 User-Agent、Referer降低请求频率返回 503服务端拒绝服务或正在维护退避重试避免集中请求JSON 解析失败接口返回 HTML 或未登录提示先打印 resp.text 查看原文解析结果为空CSS 选择器或 XPath 写错用浏览器复制真实节点结构再调整定位抓不到 HTTPS 包未安装证书或 App 证书锁定安装并信任根证书遇到证书锁定请不要尝试绕过使用代理后请求失败代理本身不可用校验代理连通性配置备用代理爬虫跑一会 IP 被封请求频率过高增加随机休眠限制并发数8.2 抓包分析排查步骤如果你使用 Fiddler 或 Charles抓包失败的排查顺序建议如下确认代理端口监听正常。确认目标请求确实走代理而不是走了系统其他代理配置。配置 HTTPS 解密并信任根证书。查看浏览器或 App 是否强制校验系统代理。检查请求是否被服务端拒绝返回 403 或 4xx。对于 App 抓包还要注意 App 是否开启代理检测以及 Android 7.0 的用户证书信任问题。8.3 请求被拒绝排查清单当爬虫请求返回异常时按顺序检查状态码是多少200 表示正常403/418 表示被拦截。请求头是否完整是否缺少 User-Agent、Referer、Cookie是否已经登录接口是否需要 Token请求频率是否过高连续请求间隔是否过短是否触发了验证码机制如果是停止采集并等待恢复。数据是否通过 JS 动态加载当前请求的 URL 是否真的包含数据把这六个问题想清楚大多数请求失败问题都能定位。9. 防封避坑与工程最佳实践“防封”不是教大家想办法对付网站而是在合法采集中保持稳定、降低对目标服务的干扰。真正稳定的爬虫靠的不是技巧而是规则。9.1 请求层面统一管理请求头把 UA、Accept、Accept-Language 等公共头抽成一个模块方便复用。设置合理间隔每次请求之间至少间隔 1~3 秒随机延时比固定延时更接近真人。使用 Session 复用连接多次请求同一个站点时Session 可以复用 TCP 连接减少握手开销。限制最大并发数即使使用多线程也不要盲开几十个线程。生产环境建议用线程池并限制并发为 3~5。设置总请求上限单次任务限制请求次数防止死循环。9.2 数据层面数据去重用标题、URL 或字段组合做唯一标识避免重复入库。增量更新记录上次采集位置下次只采集新增部分而不是全量重跑。数据校验解析后先检查字段是否合理比如价格不能为负数。存储格式规范化CSV 统一使用 utf-8-sigJSON 统一 ensure_asciiFalse。定期备份数据库和文件定期备份防止误操作导致数据丢失。9.3 代码层面异常分类捕获单独捕获requests.exceptions.Timeout、ConnectionError而不是统一 except。加日志记录每次请求的 URL、状态码、耗时方便回溯问题。配置外置URL、请求头、延时范围、保存路径都放到配置文件或环境变量。断点续爬记录已完成的页码或 ID程序中断后可以从断点继续。遵守最小权限原则不需要登录的页面尽量不登录不需要的字段尽量不采集。下面是一段带日志和重试的采集片段可以作为工程化参考import time import logging import random import requests from requests.exceptions import RequestException logging.basicConfig(levellogging.INFO, format%(asctime)s %(levelname)s %(message)s) def fetch_with_log(url, sessionNone, max_retries3): session session or requests.Session() for attempt in range(max_retries): try: resp session.get(url, timeout10) logging.info(f{url} - {resp.status_code}, 耗时 {resp.elapsed.total_seconds():.2f}s) if resp.status_code 200: return resp logging.warning(f状态码异常: {resp.status_code}, 第 {attempt 1} 次) except RequestException as e: logging.error(f请求异常: {e}, 第 {attempt 1} 次) time.sleep(2 * (attempt 1)) return None10. 学习路线与经验总结爬虫技术的学习路径可以分五个阶段每个阶段都有明确的交付成果阶段一Python 基础 HTTP 原理能写出最简单的 requests 请求。阶段二掌握 BeautifulSoup 和 XPath能从 HTML 中提取字段并保存文件。阶段三掌握抓包工具能快速定位页面请求接口分析请求头、请求参数和响应结构。阶段四理解常见反爬机制学会限速、重试、Session、渲染工具等合规应对手段。阶段五把爬虫工程化加入日志、去重、断点续爬、代理池和数据存储方案。你在本文中已经走完了前三个阶段并且通过本地图书项目完整跑通了一次采集流程。接下来建议你做三件事给本地项目增加日志和重试机制感受工程化改造前后的差异。找一个公开、合规的练习网站重新完成一次“抓包 - 请求 - 解析 - 保存”流程。把学习重点从“怎么爬”转向“数据怎么用”思考你采集的数据能给业务或研究带来什么价值。爬虫学的并不是某个库的 API而是一套解决问题的思路先理解网络请求再观察数据来源然后用合适的方式提取和存储数据。无论是做数据采集、接口调试还是搭建自动化程序这套思路都能复用。把基础打牢后续学习 Scrapy 框架、分布式采集、异步爬虫时你会发现核心原理都是相通的。最后提醒一句所有采集行为都要先确认数据公开、符合目标平台规则、不侵害他人权益。技术能力越强越应该把规则放在心上。如果你在跑通了本地项目之后对某个环节还有疑问欢迎对照文章中的排查清单再走一遍流程很多问题其实是请求头、编码或频率设置造成的。