1. 项目概述为什么我们需要登录态持久化做动态网站爬虫的朋友估计都遇到过这个让人头疼的问题好不容易用Selenium或者Playwright模拟登录了一个网站拿到了宝贵的Cookie结果脚本一重启或者换个浏览器实例之前辛辛苦苦登录的状态就全没了又得重新走一遍登录流程。尤其是那些登录验证复杂、有滑块或者点选验证码的网站反复登录不仅效率低下还容易被风控系统盯上导致IP或账号被封禁。这个项目的核心就是要解决这个痛点。它不是一个具体的、针对某个网站的爬虫而是一个通用的、可复用的登录态持久化方案。简单来说就是让你模拟浏览器登录一次然后把登录后的“身份凭证”主要是Cookie有时也包括LocalStorage等保存下来。下次再运行爬虫时直接加载这些凭证“骗”过网站让它以为你已经是登录状态从而绕过登录环节直接访问需要权限的页面。听起来是不是很诱人市面上很多教程要么只讲Selenium要么只讲Playwright而且代码冗长动辄上百行把核心逻辑淹没在环境配置和异常处理里。我们这个方案的目标是“极简”和“通用”用大约30行代码的骨架实现一套能适配绝大多数动态网站、兼容Selenium和Playwright两大主流工具的持久化逻辑。无论你是爬取需要登录的电商网站查看价格历史还是抓取社交媒体数据进行分析这套方法都能让你事半功倍。2. 核心思路与方案选型Cookie是钥匙持久化是保险箱要实现登录态持久化我们首先要理解浏览器登录的本质。当你输入用户名密码登录一个网站时服务器验证通过后会在你的浏览器里“种”下一些数据最常见的就是Cookie。这些Cookie里通常包含一个会话标识如sessionid、token浏览器在后续访问该网站的每一个请求中都会自动带上这些Cookie。服务器通过检查Cookie里的标识就能认出你是谁从而维持你的登录状态。因此我们爬虫模拟登录的终极目标就是获取这组“钥匙”Cookie。而持久化就是把这串钥匙妥善地保存到本地文件“保险箱”里下次需要时直接取用而不是每次都去现场配钥匙。2.1 为什么选择Selenium和PlaywrightSelenium是老牌且应用最广泛的浏览器自动化工具生态成熟社区资源丰富。Playwright则是后起之秀由微软开发它原生支持多浏览器Chromium, Firefox, WebKitAPI设计更现代执行速度通常更快对动态页面的等待和选择器支持也更智能。两者各有优劣Selenium兼容性无敌适合需要支持老旧企业系统或特定浏览器版本的场景。Playwright性能和新特性支持好脚本编写更简洁内置自动等待减少了很多“傻等”代码。我们的方案要同时兼容两者因为在实际工作中你可能会遇到只对某一种工具兼容性更好的网站。提供一个通用接口能让你的爬虫工具箱更灵活。2.2 方案设计一个简单的三层架构我们的极简代码将围绕三个核心操作展开登录并获取状态使用浏览器自动化工具完成登录流程成功后从浏览器对象中提取Cookie等状态信息。保存状态将提取的状态信息JSON格式序列化并保存到本地文件如cookies.json。加载状态启动新的浏览器实例后读取本地文件中的状态信息并将其“注入”到浏览器中恢复登录态。这个流程的关键在于“获取”和“注入”状态的操作对于Selenium和Playwright来说API是不同的但逻辑是相通的。我们将通过一个统一的函数接口来封装这些差异让主逻辑代码保持简洁。3. 核心代码拆解与通用接口设计下面就是这套方案的核心骨架。我们会先定义几个关键的函数然后用一个main函数来串联整个流程。请注意为了极致简洁这里省略了详细的错误处理和部分参数配置但在后续的“实操要点”部分会补全。import json import time from selenium import webdriver from selenium.webdriver.common.by import By from playwright.sync_api import sync_playwright # 状态文件路径 COOKIE_FILE login_state.json def save_state(browser, tool_typeselenium): 保存浏览器状态到文件 if tool_type selenium: state browser.get_cookies() elif tool_type playwright: # Playwright 需要从上下文(context)中获取所有cookies state browser.contexts[0].cookies() if browser.contexts else [] else: raise ValueError(Unsupported tool type) with open(COOKIE_FILE, w, encodingutf-8) as f: json.dump(state, f, ensure_asciiFalse, indent2) print(f状态已保存至 {COOKIE_FILE}) def load_state(browser, tool_typeselenium): 从文件加载状态到浏览器 try: with open(COOKIE_FILE, r, encodingutf-8) as f: state json.load(f) except FileNotFoundError: print(f状态文件 {COOKIE_FILE} 不存在需要先登录。) return False if tool_type selenium: # 先访问目标域名才能设置该域名下的Cookie if state: browser.get(https:// state[0][domain].lstrip(.)) for cookie in state: browser.add_cookie(cookie) elif tool_type playwright: if state: browser.contexts[0].add_cookies(state) else: raise ValueError(Unsupported tool type) print(状态已加载) return True def login_manually(browser, url, tool_typeselenium): 辅助函数手动登录示例 browser.get(url) if tool_type selenium else browser.goto(url) print(请在打开的浏览器中完成登录操作...) input(登录完成后按回车键继续...) # 登录后可以跳转到某个需要登录才能访问的页面验证 test_url url /dashboard # 示例需替换为实际路径 browser.get(test_url) if tool_type selenium else browser.goto(test_url) time.sleep(3) # 简单等待页面加载 save_state(browser, tool_type) def main(tool_typeselenium, target_urlhttps://example.com): 主流程 browser None if tool_type selenium: options webdriver.ChromeOptions() # 为防止被检测可添加一些常见反反爬选项 options.add_argument(--disable-blink-featuresAutomationControlled) options.add_experimental_option(excludeSwitches, [enable-automation]) options.add_experimental_option(useAutomationExtension, False) browser webdriver.Chrome(optionsoptions) # 执行CDP命令隐藏webdriver属性 browser.execute_cdp_cmd(Page.addScriptToEvaluateOnNewDocument, { source: Object.defineProperty(navigator, webdriver, { get: () undefined }) }) elif tool_type playwright: p sync_playwright().start() # Playwright 默认就较难被检测也可选择无头模式 browser p.chromium.launch(headlessFalse) context browser.new_context() page context.new_page() browser page # 为了接口统一这里将page对象赋值给browser变量注意与Selenium差异 # 核心逻辑尝试加载现有状态失败则进行登录 if not load_state(browser, tool_type): login_manually(browser, target_url, tool_type) # 状态恢复或登录成功后这里可以开始你的爬虫主逻辑 # 例如browser.get(https://example.com/profile) # ... 你的数据抓取代码 ... input(按回车键退出...) if tool_type selenium: browser.quit() elif tool_type playwright: browser.close() browser.context.browser.close() if __name__ __main__: # 使用Selenium示例 main(tool_typeselenium, target_urlhttps://www.zhihu.com/signin) # 使用Playwright示例 # main(tool_typeplaywright, target_urlhttps://www.zhihu.com/signin)3.1 代码逻辑深度解析save_state函数这是我们的“保险箱存储”操作。它根据传入的tool_type调用不同的API获取状态。Selenium使用get_cookies()Playwright则从浏览器上下文中获取cookies()。获取到的是一个由字典组成的列表每个字典代表一个Cookie包含name,value,domain,path,expiry等关键字段。我们直接用json.dump将其保存为可读的JSON文件。load_state函数这是“从保险箱取钥匙”的操作。它先尝试读取本地文件如果文件不存在则返回False提示需要登录。如果文件存在则根据工具类型注入状态。这里有一个至关重要的细节对于Selenium在添加Cookie之前浏览器必须已经访问过该Cookie所属的域名否则add_cookie会失败。所以代码里先get了一下目标域名的主页。Playwright的API更友好add_cookies方法不需要这个前置条件。login_manually函数这是一个极简的、半自动化的登录引导函数。它打开登录页然后阻塞等待用户在图形界面手动完成登录操作输入账号密码、处理验证码等。这虽然不够“全自动”但却是通用性最强的方式因为它能应对任何复杂的登录交互逻辑图形验证码、滑块、短信验证等而这些往往是自动化登录最大的挑战。登录完成后手动触发保存状态。main函数这是流程控制器。它根据参数初始化对应的浏览器驱动并立刻尝试加载已有状态。如果加载成功则直接进入爬取逻辑如果失败首次运行或状态失效则调用login_manually引导登录并保存新状态。初始化部分还包含了一些简单的反反爬措施例如隐藏Selenium的webdriver属性。注意为了保持代码极简和逻辑清晰上面的login_manually函数将Playwright的page对象赋值给了变量browser这与Selenium的webdriver对象在类型上不同。在实际更健壮的封装中你应该将它们区分开或者使用适配器模式。这里是一种简化的演示。4. 实战扩展与高级技巧上面的30行骨架代码解决了核心问题但真要投入生产环境“爬遍所有动态站”还需要考虑更多细节。下面分享几个关键的实战扩展点。4.1 状态的有效性与自动刷新Cookie是有生命周期的。服务器设置的Cookie可能有Expires或Max-Age属性。我们的持久化文件不会自动更新一旦Cookie过期加载就会失效。解决方案在load_state函数中增加简单的有效性检查。我们可以解析Cookie的expiry字段Unix时间戳与当前时间对比。import time def is_state_valid(state): 简单检查Cookie是否过期 if not state: return False for cookie in state: if expiry in cookie: if cookie[expiry] time.time(): print(fCookie {cookie.get(name)} 已过期) return False return True # 在load_state函数中调用 if not is_state_valid(state): print(保存的状态已过期需要重新登录。) return False对于需要长期运行的爬虫更优的策略是定期检测。可以在爬虫主循环中访问一个需要登录态的轻量级接口如用户信息页如果返回未登录状态码或跳转到登录页则触发重新登录流程。4.2 应对复杂的登录场景验证码处理对于简单的图形验证码可以集成OCR库如ddddocr、pytesseract进行识别。但对于复杂的滑块、点选、语序验证码手动处理即login_manually或购买打码平台服务是更可靠的选择。我们的框架为手动处理提供了完美的衔接点。两步验证(2FA)如果目标网站开启了短信/邮箱/认证器验证我们的半自动登录函数同样适用。脚本会停在输入界面等待用户手动完成验证。单点登录(SSO)流程可能涉及多个域名跳转。关键是要确保最终保存状态时我们获取的是目标业务域名下的Cookie而不是SSO认证中心的Cookie。有时需要等待跳转完成后再执行save_state。4.3 状态管理的增强多账号与上下文隔离如果你需要管理多个账号或者在同一站点切换不同身份简单的单个cookies.json文件就不够用了。解决方案引入“状态配置文件”的概念。import os STATE_DIR cookies def get_state_path(account_name, site_domain): 为每个账号-站点对生成独立的文件路径 filename f{account_name}_{site_domain.replace(., _)}.json os.makedirs(STATE_DIR, exist_okTrue) return os.path.join(STATE_DIR, filename) # 修改save_state和load_state接受account_name和site_domain参数 def save_state_enhanced(browser, tool_type, account_name, site_domain): filepath get_state_path(account_name, site_domain) # ... 保存逻辑 ...这样你就能为“账号A-网站X”、“账号B-网站Y”分别保存和加载状态互不干扰。对于Playwright你还可以利用其强大的BrowserContext功能每个Context拥有独立的Cookie和本地存储天然支持多账号会话隔离。4.4 提升稳定性和反反爬能力我们的基础代码已经做了一些隐藏特征的操作。要进一步增强随机化用户代理(User-Agent)每次启动时从预定义的列表中随机选择一个常见的UA。使用真实浏览器配置文件Selenium可以指定user-data-dir参数加载一个Chrome的用户数据目录这样浏览器会带有历史记录、扩展等更像真人。Playwright的context也可以持久化。模拟人类操作在必要的等待环节使用time.sleep(random.uniform(1, 3))代替固定等待并加入一些随机的鼠标移动、滚动操作Playwright有相应API。代理IP池对于高频访问集成代理IP池是必须的可以有效避免IP被封。在浏览器启动选项中加入代理设置即可。5. 常见问题排查与实战心得在实际使用中你肯定会遇到各种问题。下面是我踩过的一些坑和解决方案。5.1 状态加载后仍然显示未登录这是最常见的问题可能的原因和排查步骤如下Cookie域名/路径不匹配检查保存的Cookie中的domain和path字段。确保你当前访问的URL匹配这些条件。有时Cookie的domain是.example.com带点表示对该域名及其所有子域名有效有时是www.example.com则只对该子域名有效。加载状态后首次访问的页面必须符合Cookie的作用域。缺少关键的非Cookie状态有些网站特别是单页应用SPA的登录态不仅依赖Cookie还可能将token存储在LocalStorage或SessionStorage中。我们的基础版本只保存了Cookie。解决方案扩展save_state和load_state函数将Web Storage的内容也一并保存和恢复。对于Selenium可以通过执行JavaScript (driver.execute_script(return localStorage;)) 来获取Playwright则有context.storage_state()方法能一次性保存Cookie和Storage非常方便。Cookie已过期如前所述检查expiry时间。网站有额外的安全校验有些网站会校验Cookie与IP地址、User-Agent的绑定关系。如果你更换了IP或UA即使Cookie有效也会被拒绝。尽量保持登录和爬取时的网络环境一致。加载顺序问题务必在浏览器访问任何页面之前就加载Cookie吗不一定。对于Selenium必须在访问目标域名之后才能添加该域名的Cookie。我们的代码逻辑先访问域名再加载是正确的。对于Playwright则可以在创建页面之前就通过context.add_cookies()添加。5.2 登录成功但无法保存状态保存时机不对登录是一个过程而不是一个瞬间。网站可能在提交表单后还有几次重定向最终稳定在登录后的首页此时Cookie才完全设置好。过早执行save_state可能抓不到完整的Cookie集合。建议在调用save_state前增加一个明确的等待条件例如等待某个登录后才出现的元素如用户头像、退出按钮出现。浏览器实例混淆确保你调用save_state时传入的browser对象和完成登录操作的浏览器对象是同一个。在复杂的多页面或多窗口操作中容易出错。5.3 如何实现全自动登录我们的示例采用了半自动这是为了通用性。如果你确定目标网站的登录接口稳定且没有复杂验证码可以改为全自动。定位元素使用Selenium的find_element(By.ID/NAME/XPATH...)或Playwright的page.locator()找到用户名、密码输入框和提交按钮。输入与提交向输入框发送密钥 (send_keys)然后点击提交按钮或模拟回车。处理简单验证码如果验证码是固定位置的简单图片可以截图后调用OCR识别再将结果填入。关键点全自动脚本必须包含健壮的等待机制。使用显式等待WebDriverWait / page.wait_for_selector代替固定的time.sleep以应对网络波动和页面加载速度差异。5.4 一份实用的检查清单在部署你的持久化爬虫前对照这个清单检查一下检查项目的操作方法状态文件是否生成确认保存功能正常运行登录脚本后查看当前目录下是否生成了login_state.json文件。文件内容是否有效确认Cookie被正确捕获用文本编辑器打开JSON文件检查是否有name,value,domain等字段且value不是空或明显错误。Cookie作用域确保加载后能用于目标页面核对Cookie的domain是否包含你将要爬取的子域名。登录态验证确认状态恢复成功加载状态后访问一个需要登录的页面如个人中心检查页面标题或特定元素是否表明已登录。多账号隔离避免串号如果使用多账号检查状态文件是否按账号/站点区分加载时是否指定了正确的文件。异常处理增强脚本鲁棒性在文件读写、网络请求、元素查找等环节添加try...except并记录日志便于问题追踪。我个人在实际使用中最大的心得是不要过分追求全自动。对于重要的、长期的爬虫项目将登录环节设计为“半自动辅助状态持久化”的组合往往是最稳定、最省心的方案。让程序去做它擅长的状态管理、数据抓取让人去处理它擅长的应对变化的验证码、处理意外弹窗人机结合效率最高。这套30行的代码骨架为你提供了这种灵活性的基础你可以根据具体网站的复杂程度自由地在“全自动”和“半自动”之间调整策略。