1. MediaCrawler 是什么一个多平台数据采集框架1.1 爬虫开发为什么这么费劲如果你做过内容平台的数据采集大概率经历过下面这些事网站页面由 JavaScript 动态渲染直接请求 HTML 拿不到数据。请求频率稍高立刻弹出验证码或者滑块。每个平台的签名算法、加密参数、风控策略都不同一套代码很难复用到另一个平台。好不容易写完了采集逻辑平台前端一改版代码马上失效。在业务需要快速获取公开数据时从零手写每个平台的爬虫成本非常高。MediaCrawler 就是在这个背景下被开源出来的一个多平台异步爬虫项目它把小红书、抖音、快手、B站、微博、贴吧、知乎这些主流内容平台的公开数据采集逻辑整理成了统一框架开发者可以按需选择平台和采集模式快速拿到结构化的数据产出。1.2 MediaCrawler 的核心原理MediaCrawler 并不是用传统方式直接解析网页 HTML而是基于 Playwright 浏览器自动化工具通过拦截浏览器发出的 API 请求来获取数据。这样做的好处很明显不需要手动分析复杂的 JavaScript 加密逻辑。浏览器会自动处理 Cookie、指纹、TLS 指纹等基础风控环境。拿到的是平台前端实际调用的 API 返回数据字段结构清晰大多已经是 JSON 格式。从技术链路来看MediaCrawler 的工作流程大致如下用户指定平台和爬取模式 ↓ Playwright 启动浏览器Chromium ↓ 浏览器加载目标页面并登录 ↓ 拦截目标 API 请求获取 JSON 数据 ↓ 解析字段并结构化 ↓ 写入 CSV / JSON / SQLite / MySQL / PostgreSQL / MongoDB1.3 MediaCrawler 支持哪些平台和功能目前项目支持的主要平台包括小红书关键词搜索、指定帖子 ID 爬取、评论区爬取。抖音关键词搜索、指定帖子 ID 爬取、评论区爬取。快手关键词搜索、指定帖子 ID 爬取、评论区爬取。B站关键词搜索、指定帖子 ID 爬取。微博关键词搜索、指定帖子 ID 爬取。贴吧关键词搜索、指定帖子 ID 爬取。知乎关键词搜索、指定帖子 ID 爬取。支持的存储方式包括 CSV、JSON、SQLite、MySQL、PostgreSQL、MongoDB适合从本地小规模实验到线上数据入库的多种场景。2. 环境准备与项目部署2.1 运行环境要求要运行 MediaCrawler你需要准备以下环境Python 3.9 及以上版本。Git用于克隆项目代码。可联网的 Windows / macOS / Linux 系统。如果是线上服务器部署建议提前确认服务器可以正常访问目标平台。如果打算使用 MySQL 或 PostgreSQL 存储需要提前安装并创建好数据库。这里要提醒一下浏览器自动化依赖 Chromium首次运行 Playwright 时需要下载浏览器内核下载时间取决于网络环境。如果你在服务器上部署需要确保服务器具备安装系统级依赖的条件。2.2 获取项目代码首先克隆项目到本地git clone https://github.com/NanmiCoder/MediaCrawler.git cd MediaCrawler如果你使用的是 Linux 服务器建议先创建 Python 虚拟环境python3 -m venv venv source venv/bin/activateWindows 环境下的激活命令是python -m venv venv venv\Scripts\activate2.3 安装项目依赖激活虚拟环境后执行依赖安装pip install -r requirements.txt依赖安装完成后还需要安装 Playwright 的浏览器内核playwright install这个命令会下载 Chromium 浏览器后续的页面自动化和 API 拦截都依赖它。如果你在服务器上运行可能还需要安装一些系统级运行库具体可以参考 Playwright 官方文档按照你的操作系统执行对应的依赖安装命令。安装完成后可以用下面这段代码验证 Playwright 是否能正常启动浏览器from playwright.sync_api import sync_playwright with sync_playwright() as p: browser p.chromium.launch(headlessTrue) page browser.new_page() page.goto(https://www.baidu.com) print(page.title()) browser.close()如果这一段能正常打印页面标题说明你的环境已经满足基本运行要求。3. 核心配置拆解从启动参数到数据存储3.1 爬取模式与平台选择MediaCrawler 的主入口是main.py通过命令行参数控制运行行为。以小红书为例常见的启动方式是python main.py --platform xhs --lt qrcode --type search参数含义如下--platform选择平台xhs表示小红书dy表示抖音ks表示快手bili表示B站wb表示微博tieba表示贴吧zhihu表示知乎。--lt登录方式qrcode表示扫码登录cookie表示使用 Cookie 登录phone表示手机号登录部分平台还有sms短信登录。--type爬取类型search表示关键词搜索爬取detail表示指定帖子 ID 爬取。--keywords搜索关键词多个关键词用逗号分隔。--start和--end指定爬取的时间范围用于控制帖子发布时间格式为2024-01-01这种。比如我要爬取小红书近三个月内包含“Python爬虫”关键词的笔记可以这样启动python main.py --platform xhs --lt qrcode --type search --keywords Python爬虫 --start 2024-06-01 --end 2024-09-013.2 登录态的作用MediaCrawler 倾向于使用登录态进行数据请求。登录后脚本可以规避一部分平台对未登录用户的访问限制同时获取更完整的返回字段。对于扫码登录模式运行脚本后终端会输出一个二维码你用对应平台的 App 扫码确认即可。登录成功后项目会把登录态保存到本地下次运行可以复用不需要每次都扫码。对于 Cookie 登录模式你需要提前从浏览器中复制目标平台的 Cookie 字符串。打开浏览器登录目标平台按 F12 打开开发者工具在 Network 面板中找到任意一个 API 请求从请求头中复制Cookie字段的值然后粘贴到配置中。Cookie 会过期如果你发现爬虫突然返回未登录或数据为空第一件事就是检查登录态是否有效。3.3 数据库配置说明MediaCrawler 默认支持将数据写入 CSV、JSON 和 SQLite基本上开箱即用。如果你需要把数据写入 MySQL 或 PostgreSQL需要修改config/db_config.py中的数据库连接信息。从工程角度看我会更推荐使用 MySQL 或 PostgreSQL 存储原因有三个支持增量更新方便按时间范围去重。支持多人同时查询不会出现文件锁冲突。便于后续接入数据分析或可视化流程。一个 MySQL 配置示例大致如下# 文件路径config/db_config.py DB_HOST 127.0.0.1 DB_PORT 3306 DB_USER root DB_PASSWORD your_password DB_NAME media_crawler DB_TABLE_NAME xhs_note需要注意的是项目不会自动创建数据库。你需要提前在 MySQL 中执行建库语句CREATE DATABASE IF NOT EXISTS media_crawler DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;使用 utf8mb4 字符集非常重要因为小红书、抖音等平台的内容包含大量表情符号和生僻字普通 utf8 字符集无法完整存储这些字符会导致写入报错或数据丢失。3.4 其他常用配置在config/base_config.py中还有一些值得关注的配置项PLATFORM默认平台配置也可以在命令行中通过--platform覆盖。KEYWORDS默认搜索关键词。START_DATE和END_DATE默认爬取时间范围。CRAWLER_MAX_PAGE_NUM最大翻页数量用于控制每个关键词下最多爬取多少页数据防止请求数量过大。SAVE_DATA_OPTION数据存储类型选择支持 csv、json、sqlite、mysql、postgresql、mongodb 等。ENABLE_GET_COMMENTS是否同时爬取评论数据开启后数据量会明显增加但耗时也会变长。MAX_CONCURRENCY_NUM异步并发数默认值取决于项目版本建议根据网络和机器配置调整。IP_PROXY_POOL_URL代理池地址配置后可以为每个请求分配不同 IP降低频率限制风险。这里特别说一下并发数。并发太高容易触发平台风控太低则爬取速度慢。如果你是第一次跑通流程建议先保持默认值。跑通之后再根据日志中出现的错误率逐步调整并发数。4. 完整实战以小红书笔记数据爬取为例这一节我们完整跑一遍从零到数据落库的流程。示例场景是爬取小红书近一个月内关键词为“数据分析”的笔记将数据写入 MySQL。4.1 创建数据库和表登录 MySQL创建数据库CREATE DATABASE IF NOT EXISTS media_crawler DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;MediaCrawler 在写入数据时支持自动建表通常不需要手动创建数据表。但你可以在运行前先确认数据库账号具备建表权限避免运行时因为权限不足而中断。4.2 修改数据库配置编辑config/db_config.py填入你的数据库连接信息DB_HOST 127.0.0.1 DB_PORT 3306 DB_USER root DB_PASSWORD your_password DB_NAME media_crawler然后修改config/base_config.py把数据存储类型设为 mysqlSAVE_DATA_OPTION mysql4.3 获取登录 Cookie打开 Chrome 浏览器访问小红书首页登录你的账号。按 F12 打开开发者工具切换到 Network 面板刷新页面找到一个请求接口从请求头中复制 Cookie 字段的完整值。如果你担心 Cookie 里有敏感信息可以临时创建一个仅用于实验的小号实验完成后删除数据即可。在真实项目中Cookie 等同于账号的访问凭证务必妥善保管不要提交到公开仓库。4.4 启动爬虫在项目根目录执行python main.py --platform xhs --lt cookie --type search --keywords 数据分析 --start 2024-08-01 --end 2024-09-01如果你使用的是扫码登录方式则执行python main.py --platform xhs --lt qrcode --type search --keywords 数据分析 --start 2024-08-01 --end 2024-09-01程序启动后终端会输出实时日志包括当前正在执行的搜索词、API 请求结果、成功写入的笔记 ID 等。通过日志可以看到MediaCrawler 是先启动浏览器再通过页面操作触发搜索随后拦截返回的 API 数据。4.5 结果说明数据写入 MySQL 后可以执行 SQL 检查结果SELECT title, like_count, collected_count, comment_count, create_time FROM xhs_note ORDER BY like_count DESC LIMIT 20;正常情况下你会看到类似下面的输出titlelike_countcollected_countcomment_countcreate_time数据分析入门学习路线1024356882024-08-15用 Python 做数据分析实践856210452024-08-21数据分析工具对比53498272024-08-10这些字段是小红书笔记核心维度的结构化表示。后续你可以基于这些数据做排行榜、话题分析、内容趋势研究等但使用数据时要特别注意个人信息和数据合规问题后面我会专门说明。5. 进阶使用代理池与自动化调度5.1 为什么需要代理池当爬取量较大时目标平台很可能对同一 IP 的访问频率进行限制。轻则请求变慢重则返回验证码或临时封禁。配置代理池可以让每次请求使用不同出口 IP降低单个 IP 的压力。MediaCrawler 支持通过配置代理池地址来启用 IP 代理。常见的方案有自建代理池也可以使用商业代理服务。在config/base_config.py中配置IP_PROXY_POOL_URL http://your_proxy_pool_address:port如果你用的是自建代理池比如基于开源项目搭建的代理池服务它会维护一个可用的代理 IP 队列。MediaCrawler 会从该队列中获取代理并分配给请求。需要注意的是代理池并不是必需的。普通学习场景、数据量不大的情况下控制请求频率可能就足够了。代理池更适合大规模采集场景。5.2 使用 Docker 部署MediaCrawler 提供了 Docker 支持适合部署在 Linux 服务器上。项目根目录通常包含 Dockerfile 和 docker-compose 配置如果你希望快速启动完整环境可以参考以下步骤。先构建镜像docker build -t media-crawler .构建完成后运行容器docker run --rm -it \ -e PLATFORMxhs \ -e LOGIN_TYPEqrcode \ -e CRAWL_TYPEsearch \ -e KEYWORDS数据分析 \ media-crawler使用 Docker 的好处是环境一致不会因为宿主机 Python 版本差异导致依赖冲突也方便在定时任务中调用。不过需要注意Docker 容器内的 Chromium 可能需要额外的系统依赖如果构建时已经处理过一般不会有问题。5.3 定时增量抓取实际项目中爬虫往往需要定时运行比如每天早上拉取前一天的新内容。最简单的方式是使用 Linux 的 crontab。假设脚本路径为/opt/MediaCrawler创建一个执行脚本run_xhs.sh#!/bin/bash cd /opt/MediaCrawler source venv/bin/activate python main.py --platform xhs --lt cookie --type search --keywords 数据分析 --start $(date -d yesterday %Y-%m-%d) --end $(date %Y-%m-%d) logs/xhs_$(date \%Y\%m\%d).log 21然后在 crontab 中配置每天早上 8 点执行0 8 * * * bash /opt/MediaCrawler/run_xhs.sh定时任务的关键在于日志。每次执行都要把输出写入独立日志文件这样即使某次运行失败也能通过日志快速定位原因。6. 常见问题与排查思路6.1 报错登录二维码无法显示有时候在服务器上运行扫码登录二维码图片显示不出来或者扫码后没有反应。可能原因解决思路服务器没有图形界面浏览器渲染异常使用cookie登录方式代替扫码网络环境无法访问目标平台先确认目标平台在服务器上能正常访问等待时间过短检查日志确认扫码流程是否超时建议在服务器上优先使用cookie登录方式可操作性更强。6.2 报错playwright 启动浏览器失败playwright install如果你手动装过 Playwright 但版本不一致也可能导致浏览器内核与库版本不匹配。解决方式是重新安装库和内核pip install -U playwright playwright install如果是 Linux 系统还需检查是否安装了 Chromium 运行所需的系统依赖。6.3 爬虫跑了一会儿后请求全部失败这是最典型的风控表现。虽然使用了浏览器自动化但请求频率一旦超过阈值平台就会触发限制。处理思路如下降低并发数调大请求间隔。检查代理池是否配置正确。观察日志确认失败请求返回的状态码和响应体。如果是临时 IP 限制可以暂停几分钟再继续。这里的原则是爬虫频率应该模拟正常用户行为而不是用最大吞吐量去压目标平台。保持合理频率一方面能降低被封风险另一方面也体现对平台服务器的尊重。6.4 数据库写入失败或中文乱码如果数据写入 MySQL 后出现中文乱码大概率是表字符集不对。确保创建数据库时使用utf8mb4同时检查数据库连接配置是否指定了字符集。或者在连接参数中加入charsetutf8mb4如果报错提示表字段长度不够比如Data too long for column说明某个字段的长度限制不足。可以手动调整表结构将该字段类型改为TEXT或LONGTEXT。6.5 搜索结果为 0关键词使用过于生僻确实没有对应内容。时间范围设置过于狭窄。关键词被平台判定为无结果。可以先去掉时间范围参数扩大搜索范围进行验证。如果仍然为空则检查登录态是否正常。7. 工程化实践与合规建议7.1 明确使用边界MediaCrawler 这类工具适合用于学习、研究、个人技术验证和非商业化的数据观察。在正式业务中使用时请仔细阅读目标平台的用户协议和 robots 协议确认你的采集行为符合平台规则。涉及个人信息的数据比如用户名、头像、个人简介等使用时需要特别注意。如果你爬取的数据中包含可识别到个人的信息并且要在公开报告中展示建议先做脱敏处理。涉及商业化应用时请咨询专业法律意见。7.2 登录凭证安全首次使用 MediaCrawler会需要提供平台登录态。如果你使用了 Cookie 登录切记不要把 Cookie 写入公开的 GitHub 仓库。不要让 Cookie 出现在日志和错误信息中。建议使用临时账号进行实验。定期清理失效的登录态。项目配置中通常会通过.env或本地配置文件保存敏感信息你需要确认这些文件没有被 Git 跟踪。如果不确定可以在.gitignore中添加相关文件名。7.3 限速与容错设计即使是使用现成框架也不要一次性把并发调到最高。推荐的做法是让爬虫以“缓慢增量”的方式运行初始使用低并发观察错误率。错误率持续为 0再适当提高并发。一旦出现验证码或请求失败立即降低频率。对于数据量较大的任务建议分批次抓取。比如按关键词和时间范围拆分成多个任务每个任务运行结束后休息一段时间再启动下一个。这样做的好处是即使中途被封禁或程序崩溃已经完成的任务数据不会丢失。7.4 数据落地后的处理流程爬取只是第一步清洗和存储同样重要。建议在数据入库时做三件事使用唯一键去重比如笔记 ID 或帖子 ID防止重复采集。为时间字段建立索引方便按时间维度查询。增加一个源平台标记字段方便未来扩展其他平台的数据。如果你需要长期维护多个平台的采集任务可以在此基础上再加一层元数据管理表记录每次采集的任务名、关键词、时间范围、成功数量、失败数量。这样后续排查问题会轻松很多。7.5 代码的可维护性虽然 MediaCrawler 提供了开箱即用的命令行入口但如果你想把它集成到自己的系统中建议在业务层再做一层封装。不要直接在业务代码里拼接命令行参数而是把配置项抽象成独立的配置类通过读取配置文件和命令行参数双重方式注入。同时在采集结果的处理链路上预留钩子比如数据入库前的字段映射、过滤规则、异常告警回调。这样即使平台接口字段发生变化你只需要修改映射层而不需要动核心调度逻辑。8. 总结与下一步学习建议通过本文你应该已经能够独立完成 MediaCrawler 的部署、配置、运行和数据落库也了解了登录态管理、数据库选型、代理池使用和定时调度等进阶操作。如果你是想深入学习爬虫方向可以顺着以下路径继续学习 Playwright 的基础用法理解浏览器自动化内部机制。阅读 MediaCrawler 源码重点看它如何拦截 API 请求以及并发任务调度部分。研究平台的反爬思路比如请求参数加密、指纹检测、IP 频率限制的应对方式。学习数据清洗和存储优化把采集到的数据转化为真正可用的分析结果。总的来说MediaCrawler 是一个非常合适的学习和开发起点它能让你省去大量重复造轮子的时间把精力聚焦在数据分析和业务落地上面。建议你先按照本文示例完整跑通一次小红书或微博的采集流程再逐步扩展到多平台、多关键词的复杂任务。动手跑一遍远比看十篇教程更有价值。