㊗️本期内容已收录至专栏《Python爬虫实战》，持续完善知识体系与项目实战，建议先订阅收藏，后续查阅更方便～㊙️本期爬虫难度指数：⭐⭐⭐⭐⭐（专家级）🉐福利：一次订阅后，专栏内的所有文章可永久免费看，持续更新中，保底1000+(篇)硬核实战内容。全文目录：🌟 开篇语0️⃣ 前言（Preface）1️⃣ 摘要（Abstract）2️⃣ 背景与需求（Why）2.1 为什么值得做成数据库2.2 本文目标字段2.3 为什么额外保留金额字段3️⃣ 合规与注意事项3.1 robots.txt3.2 请求频率3.3 不采集非业务所需敏感信息3.4 不绕过登录、付费或访问控制4️⃣ 技术选型与整体流程（What / How）4.1 静态、动态还是 API？4.2 总流程4.3 为什么不用 BeautifulSoup 作为主解析器4.4 为什么暂时不用 Scrapy5️⃣ 环境准备与依赖安装5.1 Python5.2 创建虚拟环境5.3 requirements.txt5.4 项目结构6️⃣ 核心实现：请求层（Fetcher）6.1 config.py6.2 headers 为什么要有 UA6.3 Referer6.4 timeout 必须设置6.5 Session6.6 为什么同时使用 Retry 和随机 sleep6.7 关于 Cookie7️⃣ 核心实现：解析层（Parser）7.1 models.py7.2 列表页怎么拿详情链接7.3 保存列表快照7.4 详情页解析7.5 文本标准化函数7.6 Table → Dict7.7 字段名称不是永远一致7.8 发布时间7.9 完整详情解析器7.10 缺失字段怎么办7.11 损害类型提取7.12 企业名称提取7.13 匿名主体识别7.14 修复费用提取7.15 根据语义抽 restoration_cost7.16 状态归一化7.17 case_id 怎么生成7.18 content_hash8️⃣ 数据存储与导出（Storage）8.1 schema.sql8.2 storage.py8.3 为什么 CSV 用 utf-8-sig8.4 字段映射表8.5 去重策略8.6 企业主数据8.7 企业名称标准化8.8 统一社会信用代码合法性校验8.9 RapidFuzz 企业消歧8.10 为什么先精确匹配再模糊匹配8.11 entity_matcher.py8.12 为什么阈值推荐 96 / 858.13 更稳妥的二级消歧8.14 cleaner.py 完整版9️⃣ 运行方式与结果展示9.1 main.py9.2 启动方式9.3 示例输出🔟 常见问题与排错10.1 40310.2 429 Too Many Requests10.3 HTML 抓到空壳10.4 XPath 突然失效10.5 网站字段名称改变10.6 中文乱码10.7 金额解析不准10.8 为什么抓到了企业，却匹配错了10.9 “某公司”怎么办1️⃣1️⃣ 进阶优化11.1 断点续跑11.2 增量窗口11.3 并发11.4 asyncio11.5 Scrapy11.6 Playwright11.7 日志11.8 数据质量报告11.9 review 企业人工审核队列11.10 Alias 优先级11.11 SQLite 升级 MySQL11.12 定时任务11.13 Airflow11.14 原始层与清洗层分离ODSDWDADS11.15 Raw HTML 存档11.16 增加 source 字段11.17 企业主体多值问题casescompaniescase_companies11.18 状态历史11.19 单元测试11.20 可观察性1️⃣2️⃣ 总结与延伸阅读🌟 文末✅ 专栏持续更新中｜建议收藏 + 订阅✅ 互动征集✅ 免责声明🌟 开篇语哈喽，各位小伙伴们你们好呀～我是【喵手】。运营社区： C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛，一起学习，一起进步～🌟我长期专注Python 爬虫工程化实战，主理专栏👉 《Python爬虫实战》：从采集策略到 Python 实战：构建生态环境损害公开赔偿磋商与修复公告库——从公告采集到企业统一社会信用代码消歧
㊗️本期内容已收录至专栏《Python爬虫实战》，持续完善知识体系与项目实战，建议先订阅收藏，后续查阅更方便～㊙️本期爬虫难度指数：⭐⭐⭐⭐⭐（专家级）🉐福利：一次订阅后，专栏内的所有文章可永久免费看，持续更新中，保底1000+(篇)硬核实战内容。全文目录：🌟 开篇语0️⃣ 前言（Preface）1️⃣ 摘要（Abstract）2️⃣ 背景与需求（Why）2.1 为什么值得做成数据库2.2 本文目标字段2.3 为什么额外保留金额字段3️⃣ 合规与注意事项3.1 robots.txt3.2 请求频率3.3 不采集非业务所需敏感信息3.4 不绕过登录、付费或访问控制4️⃣ 技术选型与整体流程（What / How）4.1 静态、动态还是 API？4.2 总流程4.3 为什么不用 BeautifulSoup 作为主解析器4.4 为什么暂时不用 Scrapy5️⃣ 环境准备与依赖安装5.1 Python5.2 创建虚拟环境5.3 requirements.txt5.4 项目结构6️⃣ 核心实现：请求层（Fetcher）6.1 config.py6.2 headers 为什么要有 UA6.3 Referer6.4 timeout 必须设置6.5 Session6.6 为什么同时使用 Retry 和随机 sleep6.7 关于 Cookie7️⃣ 核心实现：解析层（Parser）7.1 models.py7.2 列表页怎么拿详情链接7.3 保存列表快照7.4 详情页解析7.5 文本标准化函数7.6 Table → Dict7.7 字段名称不是永远一致7.8 发布时间7.9 完整详情解析器7.10 缺失字段怎么办7.11 损害类型提取7.12 企业名称提取7.13 匿名主体识别7.14 修复费用提取7.15 根据语义抽 restoration_cost7.16 状态归一化7.17 case_id 怎么生成7.18 content_hash8️⃣ 数据存储与导出（Storage）8.1 schema.sql8.2 storage.py8.3 为什么 CSV 用 utf-8-sig8.4 字段映射表8.5 去重策略8.6 企业主数据8.7 企业名称标准化8.8 统一社会信用代码合法性校验8.9 RapidFuzz 企业消歧8.10 为什么先精确匹配再模糊匹配8.11 entity_matcher.py8.12 为什么阈值推荐 96 / 858.13 更稳妥的二级消歧8.14 cleaner.py 完整版9️⃣ 运行方式与结果展示9.1 main.py9.2 启动方式9.3 示例输出🔟 常见问题与排错10.1 40310.2 429 Too Many Requests10.3 HTML 抓到空壳10.4 XPath 突然失效10.5 网站字段名称改变10.6 中文乱码10.7 金额解析不准10.8 为什么抓到了企业，却匹配错了10.9 “某公司”怎么办1️⃣1️⃣ 进阶优化11.1 断点续跑11.2 增量窗口11.3 并发11.4 asyncio11.5 Scrapy11.6 Playwright11.7 日志11.8 数据质量报告11.9 review 企业人工审核队列11.10 Alias 优先级11.11 SQLite 升级 MySQL11.12 定时任务11.13 Airflow11.14 原始层与清洗层分离ODSDWDADS11.15 Raw HTML 存档11.16 增加 source 字段11.17 企业主体多值问题casescompaniescase_companies11.18 状态历史11.19 单元测试11.20 可观察性1️⃣2️⃣ 总结与延伸阅读🌟 文末✅ 专栏持续更新中｜建议收藏 + 订阅✅ 互动征集✅ 免责声明🌟 开篇语哈喽，各位小伙伴们你们好呀～我是【喵手】。运营社区： C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛，一起学习，一起进步～🌟我长期专注Python 爬虫工程化实战，主理专栏👉 《Python爬虫实战》：从采集策略到