1. 登录态维持技术全景图当你用浏览器登录网站时服务器会给你一张数字身份证Session ID或Token爬虫要做的就是伪造这张证件。目前主流方案可分为三大流派传统派直接操作Cookie字符串简单粗暴但容易过期学院派用Session对象自动管理会话像浏览器一样智能演技派Selenium全流程模拟操作连鼠标移动都能复刻去年爬取某电商平台数据时我测试发现纯Cookie方案平均维持登录20分钟就失效Session方案能撑4小时而Selenium虽然最稳定但资源消耗是前两者的15倍。这引出了登录方案选型的黄金三角稳定性、效率和隐蔽性。2. Cookie方案简单粗暴的临时工2.1 基础实现四步走import requests # 第一步从浏览器手动复制Cookie manual_cookie sessionidabc123; user_tokenxyz456 # 第二步组装请求头 headers { User-Agent: Mozilla/5.0, Cookie: manual_cookie, Referer: https://example.com/login # 关键防盗链 } # 第三步携带Cookie访问 response requests.get(https://example.com/protected, headersheaders) # 第四步检查登录状态 if 欢迎回来 in response.text: print(Cookie登录成功) else: print(可能已过期需要更新Cookie)2.2 实战中的三大痛点过期时间陷阱某社交平台的登录Cookie实际由三部分组成sessionid有效期2小时remember_token有效期7天csrf_token单次有效 只更新sessionid会导致频繁掉线域名绑定问题我在爬取某新闻网站时发现其Cookie设置了Domain.news.com和Path/vip双重限制直接访问主域名会失效动态验证机制有些网站会在Cookie中埋入客户端指纹# 某P2P网站的加密指纹示例 fingerprint hashlib.md5(f{ip_address}{user_agent}).hexdigest() headers[X-Client-Sign] fingerprint2.3 自动化续期方案class CookieManager: def __init__(self): self.cookie_jar {} # 格式{domain: {cookie_name: value}} def update_from_response(self, response): 从响应头更新Cookie new_cookies requests.utils.dict_from_cookiejar(response.cookies) domain response.url.split(/)[2] self.cookie_jar.setdefault(domain, {}).update(new_cookies) def get_for_domain(self, domain): 获取指定域名的Cookie字符串 return ; .join(f{k}{v} for k,v in self.cookie_jar.get(domain, {}).items()) # 使用示例 manager CookieManager() login_res requests.post(login_url, datacredentials) manager.update_from_response(login_res) # 首次登录存储 # 后续请求自动携带 protected_res requests.get(protected_url, headers{Cookie: manager.get_for_domain(example.com)})3. Session方案优雅的会话管家3.1 原理解析Session对象就像个智能邮差首次登录时记住服务端给的身份证Set-Cookie之后每次请求自动带上这些凭证遇到401错误自动尝试重新认证session requests.Session() # 统一设置请求头 session.headers.update({ User-Agent: Mozilla/5.0, Accept-Language: zh-CN }) # 自动处理登录流程 login_data { username: your_id, password: your_pwd, csrf_token: get_hidden_token() # 通常需要先获取页面中的token } session.post(login_url, datalogin_data) # 后续请求自动保持登录态 profile session.get(profile_url).json()3.2 高级技巧请求钩子给Session添加监控点自动处理风控def check_anti_spider(response, *args, **kwargs): if response.status_code 403 and antispider in response.text: print(触发风控自动切换代理...) session.proxies.update(get_new_proxy()) return session.get(response.url) # 重试请求 # 挂载钩子函数 session.hooks[response] [check_anti_spider]3.3 实战案例跨域名会话保持某次爬取教育平台时需要同时维持主站www.edu.com的登录态资源站res.edu.com的下载权限# 创建共享Session session requests.Session() # 主站登录 session.post(https://www.edu.com/login, datamain_cred) # 关键步骤手动同步Cookie到子域名 sub_cookie requests.utils.dict_from_cookiejar(session.cookies) session.get(https://res.edu.com/sync, cookies{parent_session: sub_cookie[sessionid]}) # 现在可以畅通访问两个域名 course_list session.get(https://www.edu.com/courses) ppt_download session.get(https://res.edu.com/files/123.ppt)4. Selenium方案全能但笨重的机器人4.1 基础登录模板from selenium.webdriver import Chrome from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver Chrome() driver.get(https://example.com/login) # 显式等待元素加载 wait WebDriverWait(driver, 10) username wait.until(EC.presence_of_element_located((By.ID, username))) password wait.until(EC.presence_of_element_located((By.NAME, password))) # 模拟人类输入 username.send_keys(your_id) password.send_keys(your_pwd) # 处理验证码 if captcha in driver.page_source: captcha_img driver.find_element(By.XPATH, //img[classcaptcha]) captcha_text ocr_recognize(captcha_img.screenshot_as_png) driver.find_element(By.ID, captcha_input).send_keys(captcha_text) # 提交登录 driver.find_element(By.XPATH, //button[contains(text(),登录)]).click() # 验证成功 wait.until(EC.url_contains(dashboard))4.2 性能优化技巧无头模式禁用图片from selenium.webdriver import ChromeOptions options ChromeOptions() options.add_argument(--headless) options.add_argument(--blink-settingsimagesEnabledfalse) options.add_experimental_option(excludeSwitches, [enable-automation])复用浏览器实例# 先启动远程调试浏览器 chrome.exe --remote-debugging-port9222 --user-data-dirC:\selenium\profile# Python连接已有实例 options.add_experimental_option(debuggerAddress, 127.0.0.1:9222) driver Chrome(optionsoptions)Cookie持久化方案# 登录后保存Cookie import pickle cookies driver.get_cookies() with open(session.pkl, wb) as f: pickle.dump(cookies, f) # 下次启动时加载 driver.get(https://example.com) # 必须先访问域名 with open(session.pkl, rb) as f: cookies pickle.load(f) for cookie in cookies: driver.add_cookie(cookie) driver.refresh() # 触发登录态生效5. 选型决策树根据百万级爬虫集群的实战数据我总结出这个选择框架是否需要处理复杂交互是 → 直接选择Selenium否 → 进入下一题目标网站有严格风控是 → 考虑Selenium真实浏览器指纹否 → 进入下一题需要高频请求(100次/分钟)是 → 选择Session方案否 → 可以尝试纯Cookie登录流程是否依赖JavaScript是 → Selenium或Playwright否 → 优先Session特别提醒遇到验证码时可以组合使用Selenium登录提取Cookie转Session的方案。去年爬取某政府公开数据平台时这套组合拳让成功率从23%提升到89%。