第 22 篇:SSL 证书验证与忽略 —— 爬虫的“信任问题“
一、为什么 SSL 是爬虫的"暗礁"?根据第 4 篇的数据,互联网上 90% 的网站已启用 HTTPS。但在爬虫场景:❌ 自签名证书:内网、测试环境❌ 证书过期:老系统❌ 证书与域名不匹配❌ 证书链不完整❌ 客户端证书认证❌ 证书固定(移动 App 常见)掌握 SSL 处理是爬虫工程师的必备技能。本篇系统性讲透。二、证书体系 3 层信任链速览根 CA 证书(操作系统内置) ↓ 签发 中间 CA 证书 ↓ 签发 服务器证书(example.com)验证流程:客户端拿到example.com证书用中间 CA 的公钥验证它用根 CA 的公钥验证中间 CA根 CA 在系统/浏览器内置任意一环出问题 → SSL 验证失败。三、Requests 的 verify 参数3.1 三种用法