博客导语爬虫本质就是模拟HTTP请求不懂HTTP协议永远只会无脑复制代码。本文详解HTTP完整请求链路、请求头字段含义、响应状态码分类是爬虫进阶、接口开发必备基础。一、HTTP核心特性基于TCP协议、应用层协议无状态、短连接HTTP1.1支持长连接客户端主动请求、服务端被动响应二、HTTP完整请求报文结构请求行 请求头 空行 请求体1. 请求行请求方法 URL 协议版本GET /index HTTP/1.12. 常用请求头爬虫核心User-Agent客户端身份爬虫伪装必备Referer来源页面防盗链校验Cookie用户身份凭证Host访问域名Accept可接收数据类型三、HTTP响应结构状态行 响应头 空行 响应体四、状态码全分类爬虫高频2xx 成功200请求成功、206分片请求3xx 重定向301永久重定向、302临时重定向、304缓存4xx 请求错误403禁止访问、404不存在、405方法不允许5xx 服务器错误500服务异常、502网关错误、503服务不可用五、爬虫必备协议常识GET参数拼接在URL无请求体POST参数放在请求体用于提交数据HTTP无状态Cookie维持登录态