一、HTTPS 为什么重要?2014 年,Google 把所有google.com子域名强制切到 HTTPS。2018 年,Chrome 68 开始把所有 HTTP 页面标记为"不安全"。2024 年的今天,全球 Top 100 网站 100% 启用 HTTPS。作为爬虫工程师,HTTPS 是你绕不开的第一道门槛:你抓的几乎所有目标都是 HTTPSHTTPS 的 TLS 握手会拖慢首次抓取抓 HTTPS 数据包需要不同的工具自签名证书、过期证书、证书固定都会让你的脚本崩溃本篇带你彻底搞懂 HTTPS 的工作原理。二、HTTP 的 3 大"原罪"HTTP 协议是明文传输的。这意味着:窃听风险:网络上的任何节点都能看到你请求的 URL、Header、Body篡改风险:中间人可以修改传输内容冒充风险:客户端无法验证服务器身份举个例子:你在咖啡厅连公共 WiFi 访问 HTTP 网站,黑客用 Wireshark 抓包,立刻能看到:GET /account/transfer?amount=10000a