简介这是一份面向Python初学者与爬虫实践者的自动化数据收集工具包聚焦于JAVBus站点的结构化信息抓取与图片下载解决影视资源元数据采集、批量图床备份等典型场景需求。压缩包共18个文件含14个Python脚本涵盖Scrapy框架核心模块如spiders、pipelines、settings及独立工具脚本JAVBusImageDownloader.py、1个依赖说明txt、1个配置cfg、1个README.md和1个.gitignore整体仅15KB轻量易读适合快速理解爬虫工程组织逻辑与反爬应对策略。已有8839人学习下载反映出其在实战教学与小规模数据采集中的高参考价值。读者可直接复用完整项目结构掌握从URL调度、HTML解析XPath/BeautifulSoup混合使用、异步图片下载到基础反反爬User-Agent轮换、请求间隔控制的全流程实现同时获得清晰的模块划分范例与可调试的本地运行入口。 做爬虫这行的人应该都在网盘群、技术交流群或者某些资源站里见过这类压缩包名字起得特别吸睛后面挂着一个.zip打开以后往往是一整套“现成”的爬虫源码。我这两年被人问得最多的一个问题就是这种包到底能不能用下载下来会不会有坑我的回答通常分两层——技术层面这类项目里确实藏着不少值得拆解的通用套路但合规层面很多包的“目标数据源”本身就在踩线谁跑谁担风险。这篇不评价任何具体站点只把一套爬虫项目里真正通用的技术骨架拆开讲清楚从静态页面抓取、动态接口分析到Cookie管理、反爬应对、增量更新再到工程化改造一步一步走完。无论你是刚接触Python爬虫的新手还是已经写过一些脚本想把它做成正经项目的开发者这篇文章都值得花十分钟看完。1. 先泼冷水网盘里那些“XX爬虫.zip”到底能不能用1.1 一个爬虫压缩包里通常装着什么拿我见过的大量“爬虫.zip”资源包来说它们的目录结构惊人地相似。解压之后基本是这样一个骨架project/ ├── main.py # 入口脚本 ├── spider.py # 核心爬虫逻辑 ├── config.py # 配置项URL、请求头、参数 ├── requirements.txt # 依赖列表 ├── output/ # 数据输出目录 └── README.md # 使用说明有的包还会多出login.py、cookie.txt、utils.py这类文件甚至冒出一两个对接第三方服务的配置文件。新手拿到手的第一反应往往是“直接运行main.py”但我要劝你先按住这个冲动。第一步应该打开requirements.txt用pip install -r requirements.txt把依赖装好然后逐行看config.py里到底配置了什么目标地址、什么请求参数。很多包作者把真实目标站点地址或者登录信息写死在代码里你连点开看一眼都没看就跑等于替别人背了锅。1.2 技术可用性与合规边界是两码事在动手运行任何一个爬虫压缩包之前至少要做三个判断目标数据源是否公开、是否允许程序化访问数据内容里有没有涉及个人信息、版权内容运营方有没有在Robots协议或服务条款里明确禁止爬取我看到很多技术群里的新手拿到“拼多多爬虫”“闲鱼爬虫”这类包就兴冲冲地跑Data。我理解那种好奇心但这些头部平台的反爬体系非常成熟抓取阈值极低脚本跑不了几分钟就会触发风控轻则验证码重则封IP、封账号。更关键的问题是这类平台的用户数据、交易数据属于受法律保护的数据资产未经授权批量抓取法律风险远大于技术收益。所以我给的建议很直接这类资源包你可以解压看代码、学思路、拆结构但不要拿它去真实目标站点上跑。真要练手就换成完全合规的公开数据源比如官方开放平台的API、公开的天气接口、政府公开数据网站、以及一些明确允许爬取的演示站点。技术原理完全一致但风险为零。1.3 robots.txt和网站条款第一道检查清单判断一个网站的爬取边界最基础的动作是看robots.txt。在浏览器里访问目标域名下的/robots.txt能看到类似这样的内容User-agent: * Allow: /public/ Disallow: /user/Allow表示允许抓取Disallow表示禁止抓取。虽然robots.txt是道德约束而非法律强制但在实际工作中它代表的是网站运营方的明确意愿——人家不想让你爬的区域你就别碰。除了robots.txt还要看网站的“服务条款”或“用户协议”很多平台在条款里写明“禁止使用自动化工具访问本网站”。这种情况下就算你技术上能爬且没有法律追究也只是侥幸不是本事。我个人的习惯是能调官方API的绝不写爬虫能用公开数据集的绝不抓网页必须抓网页的也先看robots.txt和条款。这套习惯帮我避开过太多麻烦你也可以直接抄走。2. 从requests开始先把静态页面干净利落抓下来2.1 写爬虫前必装的依赖不管压缩包里怎么写一个爬虫项目的起步依赖通常就这几个requests、beautifulsoup4、lxml。再往后可能会用到pandas处理数据selenium或playwright应对动态页面。安装命令一行搞定pip install requests beautifulsoup4 lxml pandas顺便说下版本问题Python 3.8以上版本跑这几个库都没问题如果你用的还是Python 2的老环境建议趁早换掉爬虫生态基本已经不维护Python 2了。2.2 第一个标准请求以及坑了无数人的细节先用一个请求把最基本的架子搭起来import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 } url https://httpbin.org/get try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() print(resp.status_code) print(resp.json()) except requests.exceptions.RequestException as e: print(f请求失败: {e})这段代码里有几个细节值得展开。首先是User-Agent请求头。很多新手不写这个直接用默认的python-requests/2.x.x服务器一眼就能认出你是爬虫轻则给你返回一个错误页面重则直接拉黑IP。我见过最离谱的一次一个脚本什么都没干就是没带UA跑了十分钟就触发了对方的风控整个IP段都凉了。带上一个真实浏览器的UA是爬虫最基础的“伪装”。其次是timeout参数。如果不设置超时requests会一直等下去遇到网络抖动或者对方服务器异常脚本就可能卡死在那里一个线程占着不放最后整个爬虫项目都停摆。设了timeout10之后超过10秒没响应就抛异常方便我们做异常处理。最后是raise_for_status()。这个方法会检查HTTP状态码如果服务器返回404、403、500之类的错误直接抛出异常避免你拿到一个错误页面还当作正常内容去解析。2.3 静态页面解析BeautifulSoup的核心三件套对于服务端直接渲染好的静态HTML页面解析数据最顺手的工具就是BeautifulSoup。以我当时练手的一个公开书单页面为例核心代码长这样import requests from bs4 import BeautifulSoup resp requests.get(url, headersheaders, timeout10) soup BeautifulSoup(resp.text, lxml) # 查找所有书名元素 book_titles soup.select(.book-item .title a) for item in book_titles: print(item.text.strip())BeautifulSoup里的select方法接收CSS选择器很像前端用jQuery选元素后台出身的人上手极快。常用的几个方法我列一下soup.find(div, class_title)找单个元素soup.find_all(div, class_item)找所有匹配元素soup.select(.item a)CSS选择器方式更灵活解析HTML的另一个细节是文本清洗。网页源码里到处是换行符、制表符、多余空格直接用text属性拿出来的内容往往脏得很记得strip()一下再入库。写到这里插一句如果你解析的是深套好几层的嵌套标签建议先用浏览器开发者工具定位目标数据的真实节点再写选择器别靠猜。3. 页面不是静态的顺着浏览器的网络请求找接口3.1 怎么判断一个页面是“动态”的很多现代网站的页面并非服务端直接渲染而是加载一个空壳HTML然后通过JavaScript向后端接口请求数据再动态填充。这种页面最典型的特征就是你用requests去抓拿回来的HTML里根本找不到你要的数据只有一堆script标签和空div。如果你在响应文本里CtrlF搜关键词搜不到基本可以确定是动态渲染页面。动态页面抓取的正确姿势不是急着上Selenium而是先尝试找到页面调用的后端API接口。接口返回的通常是JSON格式数据解析起来比HTML舒服得多。3.2 用浏览器开发者工具定位接口以我写一个天气小程序为例我需要实时天气数据。对于这类需求最优解是直接申请天气开放平台的API比如和风天气、心知天气、OpenWeatherMap等这些平台会提供免费额度返回干净的结构化JSON。但如果一定要抓某个页面上展示的天气数据呢方法就是按F12打开开发者工具切到Network面板勾选Fetch/XHR筛选项然后刷新页面。你会看到浏览器发起的一串请求把每一个请求都点开看它的Preview或Response找到那个返回了你正在看的数据的请求它就是你要的API接口。找到接口后你还需要关注三样东西请求URL请求方法GET还是POST必要的请求头、参数或请求体比如某个天气接口的请求长这样import requests params { location: 101010100, key: 你的APIKey } headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) } url https://example-weather-api.com/v3/weather/now resp requests.get(url, paramsparams, headersheaders, timeout10) data resp.json() temperature data[now][temp] print(f当前温度: {temperature}℃)这里有个地方值得注意params参数。requests允许你用字典传查询参数它会自动做URL编码拼接成?location101010100keyxxx这样的格式。手动拼字符串容易出编码错误用字典是更稳的做法。3.3 接口逆向的通用步骤我总结了一套找接口的通用流程遇到动态页面直接套打开开发者工具切到Network勾选Fetch/XHR刷新页面逐个查看请求找返回JSON且内容匹配页面数据的那个右键这个请求Copy as cURL在有网络的地方用在线工具或Postman把cURL转成Python代码跑通后再按需调整请求头、参数这套流程对于大部分非加密接口都有效。如果遇到接口参数做了签名加密那就要深入分析前端JavaScript代码了这类技术问题属于逆向范畴复杂度高不少。作为一个负责任的经验分享我建议新手不要一上来就挑战高难度逆向先从小型、公开、静态或半动态的数据源练起把基础流程跑通比什么都重要。3.4 Selenium和Playwright备选方案不是首选如果实在找不到接口或者接口的加密程度太高才考虑用自动化浏览器方案。Playwright是我目前更推荐的工具因为它的API设计更现代速度也更快。示例代码from playwright.sync_api import sync_playwright with sync_playwright() as p: browser p.chromium.launch(headlessTrue) page browser.new_page() page.goto(https://example.com) page.wait_for_selector(.content) html page.content() browser.close()自动化浏览器本质上是“模拟人类操作浏览器”它确实能解决绝大多数动态渲染问题但代价是性能开销大、并发能力差运行几十个页面内存就吃紧了。更关键的是很多网站对自动化浏览器有检测能力不仅看User-Agent还会检查浏览器指纹、CDP痕迹等。所以我的建议是能用requests解决的事别动不动就上Playwright。用最轻的方案解决问题爬虫的稳定性和速度都会有明显提升。4. Cookie与登录态让爬虫变成“已登录用户”4.1 为什么很多数据必须要登录才能看到网站的用户体系决定了数据访问权限。有些接口返回的数据只对登录用户可见比如个人订单、收藏列表、关注推荐等。你的爬虫如果需要抓取这类数据就得让服务器认为你是一个“已登录用户”而身份凭证就是Cookie。Cookie本质上是一小段由服务器生成、保存在浏览器里的文本。服务器通过它来识别“你是谁、你登录了吗、你有权访问哪些接口”。爬虫想要带走这个身份最简单的做法就是先自己在浏览器里完成登录然后把Cookie提取出来放到爬虫脚本里。4.2 requests.Session自动管理Cookie的容器requests库提供了Session对象它能自动保存服务器返回的Cookie并在后续请求中自动携带。这比手动把Cookie塞进每个请求头要省心得多import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) } session requests.Session() session.headers.update(headers) # 第一次请求获取初始Cookie session.get(https://httpbin.org/cookies/set?namevalue, timeout10) # 后续请求Session自动携带Cookie resp session.get(https://httpbin.org/cookies, timeout10) print(resp.json())用Session还有一个好处它内部会维护TCP连接池复用连接多次请求对服务器的压力小速度也更快。4.3 手动登录后导出Cookie给脚本用如果你需要的是登录后的数据又不想在爬虫里实现复杂的登录逻辑那就可以走“手动登录复制Cookie”的路线。操作步骤如下用浏览器登录目标网站打开开发者工具切到Network刷新页面随便点开一个请求找到Request Headers里的Cookie字段复制整段Cookie字符串然后在脚本里这样用cookies_str name1value1; name2value2; sessionidxxx # 方法一直接用字典解析简单粗暴 cookies {} for item in cookies_str.split(;): key, _, value item.strip().partition() cookies[key] value # 方法二用requests直接传字符串 resp requests.get(url, headersheaders, cookiescookies, timeout10)我自己更推荐把Cookie存到一个单独的文本文件或配置文件里不要硬编码在代码中。因为Cookie是会过期的到期后你需要重新登录并更新文件而不是去翻代码。4.4 Cookie过期爬虫运维里最头疼的问题之一Cookie一般不会永久有效。很多平台的登录态有效期是一周到一个月过期后接口会返回401或302重定向到登录页。应对Cookie过期我通常有三种策略策略一预判有效期。在代码里给Cookie记录一个获取时间到期前主动提醒自己更新。策略二实现自动重登。如果目标网站登录逻辑不复杂可以写一个登录函数在检测到Cookie失效时自动重新走一遍登录流程获取新Cookie。策略三降低过期频率。减少请求频率避免触发风控导致的强制下线。这里要特别提醒不要在爬虫里存储、传播他人账号信息更不要用爬虫抓取登录后才能看到的用户隐私数据。Cookie背后的身份验证机制不是用来“破解”的而是用来合法管理你自己账号下能访问的数据的。5. 验证码、限速、封禁反爬机制的正确应对姿势5.1 反爬的本质服务器怎么认出你是“非人类”很多新手一看到反爬就觉得玄乎其实反爬的本质就是服务器在回答一个问题“访问我的到底是人还是程序”判断依据无非这几类请求头特征User-Agent是常见的python库名、Accept和Accept-Language缺失或顺序怪异频率特征人类很难在1秒内发起10次请求程序可以行为特征人类访问页面是有先后的先打开首页再点详情程序则是直接请求几十个详情页IP特征同一IP短时间内大量请求或来自异常数据中心IP段拿用户热搜里常出现的“爬虫返回百度安全验证”来说这通常不是因为你做了什么伤天害理的事而是你的UA太假、频率太高、请求路径太规律被风控接口识别成了自动化程序给你弹一道安全验证。这时候正确做法不是研究怎么绕过去而是冷静下来先降低访问频率检查请求头完整性或者直接换一个允许程序化访问的数据源。5.2 验证码不破解用“降触发人工介入”这里我把话说直白一点不推荐、也不应该去研究破解验证码。验证码本身就是网站用来区分人机和保护自身内容的手段绕过验证码去抓数据既有技术风险也有合规风险。在我的爬虫项目里验证码的处理策略是优化请求头和行为降到“看起来像人”的频率尽量减少验证码出现一旦监测到验证码弹窗脚本立即暂停通知人工介入处理如果人工处理完还会频繁出现验证码说明这个站点的数据本来就不该爬停手换源拿一个简单例子说我定期抓取一个公开博客的更新列表偶尔会因为请求频率过高触发验证码。我的代码里会这样处理import time import random def fetch_with_retry(url, max_retries3): for attempt in range(max_retries): try: resp requests.get(url, headersheaders, timeout10) if captcha in resp.url or resp.status_code 403: print(f第{attempt 1}次请求触发安全验证等待后重试) time.sleep(random.uniform(5, 10)) continue resp.raise_for_status() return resp except requests.exceptions.RequestException as e: print(f请求失败: {e}) time.sleep(random.uniform(2, 5)) return None注意这里的random.uniform(5, 10)在两次重试之间加入随机延迟避免“定时炸弹”式的固定间隔——因为固定间隔本身就容易被识别成程序特征。5.3 限速爬虫的“礼貌”也是自保限速是爬虫最重要的自我保护机制。很多新手写爬虫喜欢“全速运行”一个for循环瞬间砸出去几百个请求结果就是IP被封、数据没抓完、哭都来不及。限速其实就是两个参数import random import time # 每次请求之间随机休息1~3秒 time.sleep(random.uniform(1, 3))这个数字取决于目标网站的容忍度对于小型个人网站1到3秒的间隔已经算礼貌了对于大型公开内容站适当放宽到2到5秒更稳妥。记住一个原则爬虫的使命是获取数据不是轰垮服务器。给自己的爬虫加上限速既是对目标网站的尊重也是让项目能长期稳定跑下去的关键。5.4 IP被封了怎么办如果IP被封你会看到大量请求返回403或429这是服务器层面的态度。这时候不要急着找工具换IP先复盘是不是自己频率太高了。如果确认是对方不愿意让自动化程序访问那就别硬碰硬换一个数据源是最省事也最安全的方案。对于完全合规的公开数据源如果确实需要分散流量可以考虑申请正规的公有云、CDN或数据服务商提供的服务或者使用目标站点官方推荐的接口配额。但要注意市面上所谓“IP代理池”“动态IP服务”在使用上边界模糊且可能涉及绕过平台风控我并不推荐在项目里引入这类灰色方案。能通过调整频率解决的就别上重武器。6. 批量爬虫、增量爬虫、垂直爬虫三种模式怎么选6.1 三种爬虫形态的典型场景很多人对爬虫的认知停留在“一次性把数据拉下来”但实际工作中爬虫的形态通常分三类。这三种模式我都在项目里用到过场景差异巨大类型典型场景特点批量型爬虫首次全量采集一个数据源一次跑完数据全耗时长增量型爬虫每天检测新内容并抓取持续运行节省资源垂直型爬虫只抓特定领域的数据定向精准结构清晰批量型爬虫最好理解比如我要把一个公开网站的5000篇文章全部存档那就写一个循环按页码翻下去每一页抓取列表再进详情页抓全文直到所有页面处理完。这种模式的难点在于如何保证中途失败后能续跑。增量型爬虫的关键在于“记住上次跑到哪了”。比如我每天抓取一个新闻站点的更新当天只抓昨天以后发布的文章而不是重新抓全站。实现增量最简单的思路是记录已处理条目的唯一标识比如文章URL的哈希值新数据来了先查重没处理过的才抓。垂直型爬虫可以理解为“为特定领域定制的爬虫”。比如只抓招聘信息、只抓某种商品的公开价格数据。它的优点是结构清晰缺点是应用面窄。不过垂直型爬虫往往最能体现“数据即产品”的价值——把分散在多个数据源的信息汇聚到一个库里本身就是一种增值。6.2 去重与断点续爬增量爬虫的底层能力增量爬虫最核心的代码其实不难难的是去重和断点续爬的细节。一个最简单的去重和断点续爬实现可以这样写import os import json import hashlib CHECKPOINT_FILE checkpoint.json def load_checkpoint(): if os.path.exists(CHECKPOINT_FILE): with open(CHECKPOINT_FILE, r, encodingutf-8) as f: return json.load(f) return {processed: []} def save_checkpoint(state): with open(CHECKPOINT_FILE, w, encodingutf-8) as f: json.dump(state, f, ensure_asciiFalse, indent2) def make_fingerprint(url, content): raw f{url}|{content} return hashlib.md5(raw.encode(utf-8)).hexdigest() state load_checkpoint() processed set(state[processed]) new_url https://example.com/articles/1001 fingerprint make_fingerprint(new_url) if fingerprint in processed: print(这条数据已经处理过了跳过) else: # 模拟抓取与保存 print(f抓取新数据: {new_url}) processed.add(fingerprint) state[processed] list(processed) save_checkpoint(state)这段代码的思路是把处理过的URL指纹存到本地JSON文件里下次运行先加载这个文件遇到重复指纹就跳过。文件存储方式虽然简单但已经足够应付绝大多数中小规模数据源。数据量再大一些可以换成SQLite或Redis的布隆过滤器核心思路不变。6.3 数据落地CSV、JSON还是SQLite爬虫拿到的数据最终要存下来我按使用场景给出选择建议CSV数据量不大需要给Excel或数据分析工具使用的首选。直接用csv模块或者pandas.to_csv()即可JSON数据结构嵌套较深比如接口返回的层级结构保留原始格式最方便排错和二次处理SQLite数据量较大、需要频繁查询、去重、关联的用SQLite最合适。它是单文件数据库不需要单独安装数据库服务拿来做爬虫的数据落地非常顺手import sqlite3 conn sqlite3.connect(spider.db) cursor conn.cursor() cursor.execute( CREATE TABLE IF NOT EXISTS articles ( id INTEGER PRIMARY KEY AUTOINCREMENT, url TEXT UNIQUE, title TEXT, content TEXT, created_at TEXT ) ) cursor.execute( INSERT OR IGNORE INTO articles (url, title, content, created_at) VALUES (?, ?, ?, ?), (https://example.com/a/1, 标题, 正文内容, 2025-01-01) ) conn.commit() conn.close()注意这里的INSERT OR IGNORE配合url UNIQUE约束天然实现了数据库层面的去重。这比在代码里用集合维护去重要可靠得多——程序挂了我最多丢失断点但数据库不会让你重复入库。7. 从脚本到工程一个可维护爬虫项目的改造记录7.1 把配置和代码分离很多人的爬虫脚本一开始就是一个大文件变量写在文件头部URL散落在各处。行数一多改起来就痛苦。我改造爬虫项目的第一步永远是把可变参数挪到配置文件或环境变量里。最简单的做法是搞一个config.py# config.py BASE_URL https://api.example.com HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept: application/json, } REQUEST_INTERVAL (1, 3) TIMEOUT 10 COOKIE_FILE cookie.txt OUTPUT_DIR output主程序里用from config import *导入这样当目标URL变化或UA需要更新时只需改配置文件不用动核心逻辑。更好的做法是使用环境变量或.env文件但那需要额外引入python-dotenv这个库新手阶段直接用config.py就够了。7.2 多线程与异步提速是好事但别忘了限速当数据量上来后单线程逐个请求确实太慢了。我给自己的爬虫做过一个“从单线程到多线程”的优化效果立竿见影但代价是代码复杂度上升。最简单的提速方案是用concurrent.futuresfrom concurrent.futures import ThreadPoolExecutor, as_completed import threading lock threading.Lock() def fetch_one(url): resp requests.get(url, headersHEADERS, timeout10) return resp.text def main(): urls [https://example.com/a, https://example.com/b] results [] def safe_fetch(url): return fetch_one(url) with ThreadPoolExecutor(max_workers4) as executor: futures {executor.submit(safe_fetch, url): url for url in urls} for future in as_completed(futures): try: data future.result() with lock: results.append(data) except Exception as e: print(f抓取失败: {e}) print(f成功抓取 {len(results)} 条) if __name__ __main__: main()线程数不要开太大我一般控制在4到8个并发太高容易被封。每个线程内部仍然要加上随机延迟。记住一点多线程爬虫不是“并发轰炸”而是“礼貌地并行工作”。线程之间的锁lock主要用于保护共享的可变对象比如结果列表避免多个线程同时写入导致数据错乱。异步方案asyncioaiohttp是更进阶的路线性能上限高得多但代码模型也更难理解。新手阶段先把多线程跑明白就够了没必要一开始就上异步。7.3 日志和异常爬虫项目里最值钱的部分很多人写爬虫只靠print输出脚本一报错控制台刷屏根本没有排查头绪。我后来把所有print都换成了logging排查问题时效率翻倍。一个简单的日志配置import logging logging.basicConfig( levellogging.INFO, format%(asctime)s [%(levelname)s] %(message)s, handlers[ logging.FileHandler(spider.log, encodingutf-8), logging.StreamHandler() ] ) logger logging.getLogger(__name__) # 使用示例 logger.info(开始抓取第 {} 页.format(page)) logger.warning(请求失败重试中: %s, url) logger.error(解析异常: %s, exc_infoTrue)日志文件记录每天的运行情况下次跑挂了或者数据对不上翻日志能看到每一条请求的状态和处理轨迹比在黑压压的控制台里翻历史记录舒服得多。7.4 爬虫新手最容易踩的五个报错我把新手阶段最常见的报错整理成一个表直接抄走用报错常见原因解决方式requests.exceptions.SSLErrorHTTPS证书验证失败先排查网络环境不要急着关闭验证requests.exceptions.ConnectionError网络不通或对方拒绝连接检查URL、确认目标站可否访问requests.exceptions.Timeout服务器响应超时延长timeout或增加重试机制json.JSONDecodeError把非JSON内容当JSON解析先resp.text看内容多半是返回了验证码页或错误页KeyboardInterrupt手动CtrlC终止属于正常操作配合断点保存使用即可我特别想强调SSLError的解决方案。有些教程为了省事会让你加verifyFalse关闭SSL证书验证这能暂时绕过问题但也会带来安全风险。正确的做法是先确认自己所在的网络环境是否正常、目标站点的证书是否有效再决定是否临时关闭验证。我一般只会在访问自签名证书的测试环境时才用verifyFalse线上生产环境的爬虫坚决不开这个口子。7.5 打包需求和项目管理项目写好了要分享给别人或者部署到服务器至少要把依赖整理清楚。在项目根目录里执行pip freeze requirements.txt然后配套一个README.md写清楚这三点项目能干什么、环境怎么装、怎么运行。这个习惯能让你一个月后重新打开这个项目时不用靠猜来回忆自己当时写了什么。至于打包成可执行文件用PyInstaller就能搞定pip install pyinstaller pyinstaller -F main.py不过我不太建议爬虫脚本打包成exe。爬虫项目通常需要频繁修改配置、更新选择器、调整限速参数保留源码反而更容易维护。打包成可执行文件会把这些灵活性都锁死除非是给别人用且对方没有Python环境否则没必要。这阵子处理过不少爬虫项目之后我最大的体会是能长期稳定跑的爬虫靠的从来不是“骚操作”而是克制——对数据源的选择保持克制对请求频率保持克制对技术边界保持克制。合规的数据源、礼貌的请求间隔、清晰的日志、简洁的去重逻辑这四样东西组合起来比任何花哨的逆向技巧都值钱。如果你手里正好有一个从网盘下载的“爬虫.zip”先别急着解压运行问自己三个问题这个数据源允许我抓吗我拿这些数据做什么对方网站能承受住我的请求吗三个问题都过了再解压不迟。本文还有配套的精品资源点击获取 拆解爬虫项目通用技术骨架：静态抓取、接口分析到工程化
简介这是一份面向Python初学者与爬虫实践者的自动化数据收集工具包聚焦于JAVBus站点的结构化信息抓取与图片下载解决影视资源元数据采集、批量图床备份等典型场景需求。压缩包共18个文件含14个Python脚本涵盖Scrapy框架核心模块如spiders、pipelines、settings及独立工具脚本JAVBusImageDownloader.py、1个依赖说明txt、1个配置cfg、1个README.md和1个.gitignore整体仅15KB轻量易读适合快速理解爬虫工程组织逻辑与反爬应对策略。已有8839人学习下载反映出其在实战教学与小规模数据采集中的高参考价值。读者可直接复用完整项目结构掌握从URL调度、HTML解析XPath/BeautifulSoup混合使用、异步图片下载到基础反反爬User-Agent轮换、请求间隔控制的全流程实现同时获得清晰的模块划分范例与可调试的本地运行入口。 做爬虫这行的人应该都在网盘群、技术交流群或者某些资源站里见过这类压缩包名字起得特别吸睛后面挂着一个.zip打开以后往往是一整套“现成”的爬虫源码。我这两年被人问得最多的一个问题就是这种包到底能不能用下载下来会不会有坑我的回答通常分两层——技术层面这类项目里确实藏着不少值得拆解的通用套路但合规层面很多包的“目标数据源”本身就在踩线谁跑谁担风险。这篇不评价任何具体站点只把一套爬虫项目里真正通用的技术骨架拆开讲清楚从静态页面抓取、动态接口分析到Cookie管理、反爬应对、增量更新再到工程化改造一步一步走完。无论你是刚接触Python爬虫的新手还是已经写过一些脚本想把它做成正经项目的开发者这篇文章都值得花十分钟看完。1. 先泼冷水网盘里那些“XX爬虫.zip”到底能不能用1.1 一个爬虫压缩包里通常装着什么拿我见过的大量“爬虫.zip”资源包来说它们的目录结构惊人地相似。解压之后基本是这样一个骨架project/ ├── main.py # 入口脚本 ├── spider.py # 核心爬虫逻辑 ├── config.py # 配置项URL、请求头、参数 ├── requirements.txt # 依赖列表 ├── output/ # 数据输出目录 └── README.md # 使用说明有的包还会多出login.py、cookie.txt、utils.py这类文件甚至冒出一两个对接第三方服务的配置文件。新手拿到手的第一反应往往是“直接运行main.py”但我要劝你先按住这个冲动。第一步应该打开requirements.txt用pip install -r requirements.txt把依赖装好然后逐行看config.py里到底配置了什么目标地址、什么请求参数。很多包作者把真实目标站点地址或者登录信息写死在代码里你连点开看一眼都没看就跑等于替别人背了锅。1.2 技术可用性与合规边界是两码事在动手运行任何一个爬虫压缩包之前至少要做三个判断目标数据源是否公开、是否允许程序化访问数据内容里有没有涉及个人信息、版权内容运营方有没有在Robots协议或服务条款里明确禁止爬取我看到很多技术群里的新手拿到“拼多多爬虫”“闲鱼爬虫”这类包就兴冲冲地跑Data。我理解那种好奇心但这些头部平台的反爬体系非常成熟抓取阈值极低脚本跑不了几分钟就会触发风控轻则验证码重则封IP、封账号。更关键的问题是这类平台的用户数据、交易数据属于受法律保护的数据资产未经授权批量抓取法律风险远大于技术收益。所以我给的建议很直接这类资源包你可以解压看代码、学思路、拆结构但不要拿它去真实目标站点上跑。真要练手就换成完全合规的公开数据源比如官方开放平台的API、公开的天气接口、政府公开数据网站、以及一些明确允许爬取的演示站点。技术原理完全一致但风险为零。1.3 robots.txt和网站条款第一道检查清单判断一个网站的爬取边界最基础的动作是看robots.txt。在浏览器里访问目标域名下的/robots.txt能看到类似这样的内容User-agent: * Allow: /public/ Disallow: /user/Allow表示允许抓取Disallow表示禁止抓取。虽然robots.txt是道德约束而非法律强制但在实际工作中它代表的是网站运营方的明确意愿——人家不想让你爬的区域你就别碰。除了robots.txt还要看网站的“服务条款”或“用户协议”很多平台在条款里写明“禁止使用自动化工具访问本网站”。这种情况下就算你技术上能爬且没有法律追究也只是侥幸不是本事。我个人的习惯是能调官方API的绝不写爬虫能用公开数据集的绝不抓网页必须抓网页的也先看robots.txt和条款。这套习惯帮我避开过太多麻烦你也可以直接抄走。2. 从requests开始先把静态页面干净利落抓下来2.1 写爬虫前必装的依赖不管压缩包里怎么写一个爬虫项目的起步依赖通常就这几个requests、beautifulsoup4、lxml。再往后可能会用到pandas处理数据selenium或playwright应对动态页面。安装命令一行搞定pip install requests beautifulsoup4 lxml pandas顺便说下版本问题Python 3.8以上版本跑这几个库都没问题如果你用的还是Python 2的老环境建议趁早换掉爬虫生态基本已经不维护Python 2了。2.2 第一个标准请求以及坑了无数人的细节先用一个请求把最基本的架子搭起来import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 } url https://httpbin.org/get try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() print(resp.status_code) print(resp.json()) except requests.exceptions.RequestException as e: print(f请求失败: {e})这段代码里有几个细节值得展开。首先是User-Agent请求头。很多新手不写这个直接用默认的python-requests/2.x.x服务器一眼就能认出你是爬虫轻则给你返回一个错误页面重则直接拉黑IP。我见过最离谱的一次一个脚本什么都没干就是没带UA跑了十分钟就触发了对方的风控整个IP段都凉了。带上一个真实浏览器的UA是爬虫最基础的“伪装”。其次是timeout参数。如果不设置超时requests会一直等下去遇到网络抖动或者对方服务器异常脚本就可能卡死在那里一个线程占着不放最后整个爬虫项目都停摆。设了timeout10之后超过10秒没响应就抛异常方便我们做异常处理。最后是raise_for_status()。这个方法会检查HTTP状态码如果服务器返回404、403、500之类的错误直接抛出异常避免你拿到一个错误页面还当作正常内容去解析。2.3 静态页面解析BeautifulSoup的核心三件套对于服务端直接渲染好的静态HTML页面解析数据最顺手的工具就是BeautifulSoup。以我当时练手的一个公开书单页面为例核心代码长这样import requests from bs4 import BeautifulSoup resp requests.get(url, headersheaders, timeout10) soup BeautifulSoup(resp.text, lxml) # 查找所有书名元素 book_titles soup.select(.book-item .title a) for item in book_titles: print(item.text.strip())BeautifulSoup里的select方法接收CSS选择器很像前端用jQuery选元素后台出身的人上手极快。常用的几个方法我列一下soup.find(div, class_title)找单个元素soup.find_all(div, class_item)找所有匹配元素soup.select(.item a)CSS选择器方式更灵活解析HTML的另一个细节是文本清洗。网页源码里到处是换行符、制表符、多余空格直接用text属性拿出来的内容往往脏得很记得strip()一下再入库。写到这里插一句如果你解析的是深套好几层的嵌套标签建议先用浏览器开发者工具定位目标数据的真实节点再写选择器别靠猜。3. 页面不是静态的顺着浏览器的网络请求找接口3.1 怎么判断一个页面是“动态”的很多现代网站的页面并非服务端直接渲染而是加载一个空壳HTML然后通过JavaScript向后端接口请求数据再动态填充。这种页面最典型的特征就是你用requests去抓拿回来的HTML里根本找不到你要的数据只有一堆script标签和空div。如果你在响应文本里CtrlF搜关键词搜不到基本可以确定是动态渲染页面。动态页面抓取的正确姿势不是急着上Selenium而是先尝试找到页面调用的后端API接口。接口返回的通常是JSON格式数据解析起来比HTML舒服得多。3.2 用浏览器开发者工具定位接口以我写一个天气小程序为例我需要实时天气数据。对于这类需求最优解是直接申请天气开放平台的API比如和风天气、心知天气、OpenWeatherMap等这些平台会提供免费额度返回干净的结构化JSON。但如果一定要抓某个页面上展示的天气数据呢方法就是按F12打开开发者工具切到Network面板勾选Fetch/XHR筛选项然后刷新页面。你会看到浏览器发起的一串请求把每一个请求都点开看它的Preview或Response找到那个返回了你正在看的数据的请求它就是你要的API接口。找到接口后你还需要关注三样东西请求URL请求方法GET还是POST必要的请求头、参数或请求体比如某个天气接口的请求长这样import requests params { location: 101010100, key: 你的APIKey } headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) } url https://example-weather-api.com/v3/weather/now resp requests.get(url, paramsparams, headersheaders, timeout10) data resp.json() temperature data[now][temp] print(f当前温度: {temperature}℃)这里有个地方值得注意params参数。requests允许你用字典传查询参数它会自动做URL编码拼接成?location101010100keyxxx这样的格式。手动拼字符串容易出编码错误用字典是更稳的做法。3.3 接口逆向的通用步骤我总结了一套找接口的通用流程遇到动态页面直接套打开开发者工具切到Network勾选Fetch/XHR刷新页面逐个查看请求找返回JSON且内容匹配页面数据的那个右键这个请求Copy as cURL在有网络的地方用在线工具或Postman把cURL转成Python代码跑通后再按需调整请求头、参数这套流程对于大部分非加密接口都有效。如果遇到接口参数做了签名加密那就要深入分析前端JavaScript代码了这类技术问题属于逆向范畴复杂度高不少。作为一个负责任的经验分享我建议新手不要一上来就挑战高难度逆向先从小型、公开、静态或半动态的数据源练起把基础流程跑通比什么都重要。3.4 Selenium和Playwright备选方案不是首选如果实在找不到接口或者接口的加密程度太高才考虑用自动化浏览器方案。Playwright是我目前更推荐的工具因为它的API设计更现代速度也更快。示例代码from playwright.sync_api import sync_playwright with sync_playwright() as p: browser p.chromium.launch(headlessTrue) page browser.new_page() page.goto(https://example.com) page.wait_for_selector(.content) html page.content() browser.close()自动化浏览器本质上是“模拟人类操作浏览器”它确实能解决绝大多数动态渲染问题但代价是性能开销大、并发能力差运行几十个页面内存就吃紧了。更关键的是很多网站对自动化浏览器有检测能力不仅看User-Agent还会检查浏览器指纹、CDP痕迹等。所以我的建议是能用requests解决的事别动不动就上Playwright。用最轻的方案解决问题爬虫的稳定性和速度都会有明显提升。4. Cookie与登录态让爬虫变成“已登录用户”4.1 为什么很多数据必须要登录才能看到网站的用户体系决定了数据访问权限。有些接口返回的数据只对登录用户可见比如个人订单、收藏列表、关注推荐等。你的爬虫如果需要抓取这类数据就得让服务器认为你是一个“已登录用户”而身份凭证就是Cookie。Cookie本质上是一小段由服务器生成、保存在浏览器里的文本。服务器通过它来识别“你是谁、你登录了吗、你有权访问哪些接口”。爬虫想要带走这个身份最简单的做法就是先自己在浏览器里完成登录然后把Cookie提取出来放到爬虫脚本里。4.2 requests.Session自动管理Cookie的容器requests库提供了Session对象它能自动保存服务器返回的Cookie并在后续请求中自动携带。这比手动把Cookie塞进每个请求头要省心得多import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) } session requests.Session() session.headers.update(headers) # 第一次请求获取初始Cookie session.get(https://httpbin.org/cookies/set?namevalue, timeout10) # 后续请求Session自动携带Cookie resp session.get(https://httpbin.org/cookies, timeout10) print(resp.json())用Session还有一个好处它内部会维护TCP连接池复用连接多次请求对服务器的压力小速度也更快。4.3 手动登录后导出Cookie给脚本用如果你需要的是登录后的数据又不想在爬虫里实现复杂的登录逻辑那就可以走“手动登录复制Cookie”的路线。操作步骤如下用浏览器登录目标网站打开开发者工具切到Network刷新页面随便点开一个请求找到Request Headers里的Cookie字段复制整段Cookie字符串然后在脚本里这样用cookies_str name1value1; name2value2; sessionidxxx # 方法一直接用字典解析简单粗暴 cookies {} for item in cookies_str.split(;): key, _, value item.strip().partition() cookies[key] value # 方法二用requests直接传字符串 resp requests.get(url, headersheaders, cookiescookies, timeout10)我自己更推荐把Cookie存到一个单独的文本文件或配置文件里不要硬编码在代码中。因为Cookie是会过期的到期后你需要重新登录并更新文件而不是去翻代码。4.4 Cookie过期爬虫运维里最头疼的问题之一Cookie一般不会永久有效。很多平台的登录态有效期是一周到一个月过期后接口会返回401或302重定向到登录页。应对Cookie过期我通常有三种策略策略一预判有效期。在代码里给Cookie记录一个获取时间到期前主动提醒自己更新。策略二实现自动重登。如果目标网站登录逻辑不复杂可以写一个登录函数在检测到Cookie失效时自动重新走一遍登录流程获取新Cookie。策略三降低过期频率。减少请求频率避免触发风控导致的强制下线。这里要特别提醒不要在爬虫里存储、传播他人账号信息更不要用爬虫抓取登录后才能看到的用户隐私数据。Cookie背后的身份验证机制不是用来“破解”的而是用来合法管理你自己账号下能访问的数据的。5. 验证码、限速、封禁反爬机制的正确应对姿势5.1 反爬的本质服务器怎么认出你是“非人类”很多新手一看到反爬就觉得玄乎其实反爬的本质就是服务器在回答一个问题“访问我的到底是人还是程序”判断依据无非这几类请求头特征User-Agent是常见的python库名、Accept和Accept-Language缺失或顺序怪异频率特征人类很难在1秒内发起10次请求程序可以行为特征人类访问页面是有先后的先打开首页再点详情程序则是直接请求几十个详情页IP特征同一IP短时间内大量请求或来自异常数据中心IP段拿用户热搜里常出现的“爬虫返回百度安全验证”来说这通常不是因为你做了什么伤天害理的事而是你的UA太假、频率太高、请求路径太规律被风控接口识别成了自动化程序给你弹一道安全验证。这时候正确做法不是研究怎么绕过去而是冷静下来先降低访问频率检查请求头完整性或者直接换一个允许程序化访问的数据源。5.2 验证码不破解用“降触发人工介入”这里我把话说直白一点不推荐、也不应该去研究破解验证码。验证码本身就是网站用来区分人机和保护自身内容的手段绕过验证码去抓数据既有技术风险也有合规风险。在我的爬虫项目里验证码的处理策略是优化请求头和行为降到“看起来像人”的频率尽量减少验证码出现一旦监测到验证码弹窗脚本立即暂停通知人工介入处理如果人工处理完还会频繁出现验证码说明这个站点的数据本来就不该爬停手换源拿一个简单例子说我定期抓取一个公开博客的更新列表偶尔会因为请求频率过高触发验证码。我的代码里会这样处理import time import random def fetch_with_retry(url, max_retries3): for attempt in range(max_retries): try: resp requests.get(url, headersheaders, timeout10) if captcha in resp.url or resp.status_code 403: print(f第{attempt 1}次请求触发安全验证等待后重试) time.sleep(random.uniform(5, 10)) continue resp.raise_for_status() return resp except requests.exceptions.RequestException as e: print(f请求失败: {e}) time.sleep(random.uniform(2, 5)) return None注意这里的random.uniform(5, 10)在两次重试之间加入随机延迟避免“定时炸弹”式的固定间隔——因为固定间隔本身就容易被识别成程序特征。5.3 限速爬虫的“礼貌”也是自保限速是爬虫最重要的自我保护机制。很多新手写爬虫喜欢“全速运行”一个for循环瞬间砸出去几百个请求结果就是IP被封、数据没抓完、哭都来不及。限速其实就是两个参数import random import time # 每次请求之间随机休息1~3秒 time.sleep(random.uniform(1, 3))这个数字取决于目标网站的容忍度对于小型个人网站1到3秒的间隔已经算礼貌了对于大型公开内容站适当放宽到2到5秒更稳妥。记住一个原则爬虫的使命是获取数据不是轰垮服务器。给自己的爬虫加上限速既是对目标网站的尊重也是让项目能长期稳定跑下去的关键。5.4 IP被封了怎么办如果IP被封你会看到大量请求返回403或429这是服务器层面的态度。这时候不要急着找工具换IP先复盘是不是自己频率太高了。如果确认是对方不愿意让自动化程序访问那就别硬碰硬换一个数据源是最省事也最安全的方案。对于完全合规的公开数据源如果确实需要分散流量可以考虑申请正规的公有云、CDN或数据服务商提供的服务或者使用目标站点官方推荐的接口配额。但要注意市面上所谓“IP代理池”“动态IP服务”在使用上边界模糊且可能涉及绕过平台风控我并不推荐在项目里引入这类灰色方案。能通过调整频率解决的就别上重武器。6. 批量爬虫、增量爬虫、垂直爬虫三种模式怎么选6.1 三种爬虫形态的典型场景很多人对爬虫的认知停留在“一次性把数据拉下来”但实际工作中爬虫的形态通常分三类。这三种模式我都在项目里用到过场景差异巨大类型典型场景特点批量型爬虫首次全量采集一个数据源一次跑完数据全耗时长增量型爬虫每天检测新内容并抓取持续运行节省资源垂直型爬虫只抓特定领域的数据定向精准结构清晰批量型爬虫最好理解比如我要把一个公开网站的5000篇文章全部存档那就写一个循环按页码翻下去每一页抓取列表再进详情页抓全文直到所有页面处理完。这种模式的难点在于如何保证中途失败后能续跑。增量型爬虫的关键在于“记住上次跑到哪了”。比如我每天抓取一个新闻站点的更新当天只抓昨天以后发布的文章而不是重新抓全站。实现增量最简单的思路是记录已处理条目的唯一标识比如文章URL的哈希值新数据来了先查重没处理过的才抓。垂直型爬虫可以理解为“为特定领域定制的爬虫”。比如只抓招聘信息、只抓某种商品的公开价格数据。它的优点是结构清晰缺点是应用面窄。不过垂直型爬虫往往最能体现“数据即产品”的价值——把分散在多个数据源的信息汇聚到一个库里本身就是一种增值。6.2 去重与断点续爬增量爬虫的底层能力增量爬虫最核心的代码其实不难难的是去重和断点续爬的细节。一个最简单的去重和断点续爬实现可以这样写import os import json import hashlib CHECKPOINT_FILE checkpoint.json def load_checkpoint(): if os.path.exists(CHECKPOINT_FILE): with open(CHECKPOINT_FILE, r, encodingutf-8) as f: return json.load(f) return {processed: []} def save_checkpoint(state): with open(CHECKPOINT_FILE, w, encodingutf-8) as f: json.dump(state, f, ensure_asciiFalse, indent2) def make_fingerprint(url, content): raw f{url}|{content} return hashlib.md5(raw.encode(utf-8)).hexdigest() state load_checkpoint() processed set(state[processed]) new_url https://example.com/articles/1001 fingerprint make_fingerprint(new_url) if fingerprint in processed: print(这条数据已经处理过了跳过) else: # 模拟抓取与保存 print(f抓取新数据: {new_url}) processed.add(fingerprint) state[processed] list(processed) save_checkpoint(state)这段代码的思路是把处理过的URL指纹存到本地JSON文件里下次运行先加载这个文件遇到重复指纹就跳过。文件存储方式虽然简单但已经足够应付绝大多数中小规模数据源。数据量再大一些可以换成SQLite或Redis的布隆过滤器核心思路不变。6.3 数据落地CSV、JSON还是SQLite爬虫拿到的数据最终要存下来我按使用场景给出选择建议CSV数据量不大需要给Excel或数据分析工具使用的首选。直接用csv模块或者pandas.to_csv()即可JSON数据结构嵌套较深比如接口返回的层级结构保留原始格式最方便排错和二次处理SQLite数据量较大、需要频繁查询、去重、关联的用SQLite最合适。它是单文件数据库不需要单独安装数据库服务拿来做爬虫的数据落地非常顺手import sqlite3 conn sqlite3.connect(spider.db) cursor conn.cursor() cursor.execute( CREATE TABLE IF NOT EXISTS articles ( id INTEGER PRIMARY KEY AUTOINCREMENT, url TEXT UNIQUE, title TEXT, content TEXT, created_at TEXT ) ) cursor.execute( INSERT OR IGNORE INTO articles (url, title, content, created_at) VALUES (?, ?, ?, ?), (https://example.com/a/1, 标题, 正文内容, 2025-01-01) ) conn.commit() conn.close()注意这里的INSERT OR IGNORE配合url UNIQUE约束天然实现了数据库层面的去重。这比在代码里用集合维护去重要可靠得多——程序挂了我最多丢失断点但数据库不会让你重复入库。7. 从脚本到工程一个可维护爬虫项目的改造记录7.1 把配置和代码分离很多人的爬虫脚本一开始就是一个大文件变量写在文件头部URL散落在各处。行数一多改起来就痛苦。我改造爬虫项目的第一步永远是把可变参数挪到配置文件或环境变量里。最简单的做法是搞一个config.py# config.py BASE_URL https://api.example.com HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept: application/json, } REQUEST_INTERVAL (1, 3) TIMEOUT 10 COOKIE_FILE cookie.txt OUTPUT_DIR output主程序里用from config import *导入这样当目标URL变化或UA需要更新时只需改配置文件不用动核心逻辑。更好的做法是使用环境变量或.env文件但那需要额外引入python-dotenv这个库新手阶段直接用config.py就够了。7.2 多线程与异步提速是好事但别忘了限速当数据量上来后单线程逐个请求确实太慢了。我给自己的爬虫做过一个“从单线程到多线程”的优化效果立竿见影但代价是代码复杂度上升。最简单的提速方案是用concurrent.futuresfrom concurrent.futures import ThreadPoolExecutor, as_completed import threading lock threading.Lock() def fetch_one(url): resp requests.get(url, headersHEADERS, timeout10) return resp.text def main(): urls [https://example.com/a, https://example.com/b] results [] def safe_fetch(url): return fetch_one(url) with ThreadPoolExecutor(max_workers4) as executor: futures {executor.submit(safe_fetch, url): url for url in urls} for future in as_completed(futures): try: data future.result() with lock: results.append(data) except Exception as e: print(f抓取失败: {e}) print(f成功抓取 {len(results)} 条) if __name__ __main__: main()线程数不要开太大我一般控制在4到8个并发太高容易被封。每个线程内部仍然要加上随机延迟。记住一点多线程爬虫不是“并发轰炸”而是“礼貌地并行工作”。线程之间的锁lock主要用于保护共享的可变对象比如结果列表避免多个线程同时写入导致数据错乱。异步方案asyncioaiohttp是更进阶的路线性能上限高得多但代码模型也更难理解。新手阶段先把多线程跑明白就够了没必要一开始就上异步。7.3 日志和异常爬虫项目里最值钱的部分很多人写爬虫只靠print输出脚本一报错控制台刷屏根本没有排查头绪。我后来把所有print都换成了logging排查问题时效率翻倍。一个简单的日志配置import logging logging.basicConfig( levellogging.INFO, format%(asctime)s [%(levelname)s] %(message)s, handlers[ logging.FileHandler(spider.log, encodingutf-8), logging.StreamHandler() ] ) logger logging.getLogger(__name__) # 使用示例 logger.info(开始抓取第 {} 页.format(page)) logger.warning(请求失败重试中: %s, url) logger.error(解析异常: %s, exc_infoTrue)日志文件记录每天的运行情况下次跑挂了或者数据对不上翻日志能看到每一条请求的状态和处理轨迹比在黑压压的控制台里翻历史记录舒服得多。7.4 爬虫新手最容易踩的五个报错我把新手阶段最常见的报错整理成一个表直接抄走用报错常见原因解决方式requests.exceptions.SSLErrorHTTPS证书验证失败先排查网络环境不要急着关闭验证requests.exceptions.ConnectionError网络不通或对方拒绝连接检查URL、确认目标站可否访问requests.exceptions.Timeout服务器响应超时延长timeout或增加重试机制json.JSONDecodeError把非JSON内容当JSON解析先resp.text看内容多半是返回了验证码页或错误页KeyboardInterrupt手动CtrlC终止属于正常操作配合断点保存使用即可我特别想强调SSLError的解决方案。有些教程为了省事会让你加verifyFalse关闭SSL证书验证这能暂时绕过问题但也会带来安全风险。正确的做法是先确认自己所在的网络环境是否正常、目标站点的证书是否有效再决定是否临时关闭验证。我一般只会在访问自签名证书的测试环境时才用verifyFalse线上生产环境的爬虫坚决不开这个口子。7.5 打包需求和项目管理项目写好了要分享给别人或者部署到服务器至少要把依赖整理清楚。在项目根目录里执行pip freeze requirements.txt然后配套一个README.md写清楚这三点项目能干什么、环境怎么装、怎么运行。这个习惯能让你一个月后重新打开这个项目时不用靠猜来回忆自己当时写了什么。至于打包成可执行文件用PyInstaller就能搞定pip install pyinstaller pyinstaller -F main.py不过我不太建议爬虫脚本打包成exe。爬虫项目通常需要频繁修改配置、更新选择器、调整限速参数保留源码反而更容易维护。打包成可执行文件会把这些灵活性都锁死除非是给别人用且对方没有Python环境否则没必要。这阵子处理过不少爬虫项目之后我最大的体会是能长期稳定跑的爬虫靠的从来不是“骚操作”而是克制——对数据源的选择保持克制对请求频率保持克制对技术边界保持克制。合规的数据源、礼貌的请求间隔、清晰的日志、简洁的去重逻辑这四样东西组合起来比任何花哨的逆向技巧都值钱。如果你手里正好有一个从网盘下载的“爬虫.zip”先别急着解压运行问自己三个问题这个数据源允许我抓吗我拿这些数据做什么对方网站能承受住我的请求吗三个问题都过了再解压不迟。本文还有配套的精品资源点击获取