尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

抖音视频批量下载实操:从一条链接到整个内容库

抖音视频批量下载实操:从一条链接到整个内容库 抖音视频批量下载实操从一条链接到整个内容库【免费下载链接】douyin-downloaderA practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support. 抖音批量下载工具去水印支持视频、图集、合集、音乐(原声)。项目地址: https://gitcode.com/GitHub_Trending/do/douyin-downloader终端最后一行停在「下载完成 成功 200/200」硬盘里两百个文件夹已按日期排好无水印视频、封面、原声各归其位。这背后只是一份 YAML 加一条命令——douyin-downloader一个开源的抖音视频批量下载工具覆盖去水印、合集、直播与增量抓取。 能力全景一条链接进去磁盘上落了什么先理清输入、处理、输出三件事。输入是一条链接短链v.douyin.com/xxxx会先被解析成真实地址再判定类型单条视频、图文、合集、音乐、用户主页、直播间。处理阶段程序走无水印接口拿资源每条作品带重试与限速SQLite 记录和本地文件做双重校验已存在的直接跳过API 受限时会切到浏览器策略兜底。输出则是每个作品一个独立文件夹视频、音频、封面、元数据分开放。能力说明去水印下载视频、图集自动剥离水印批量抓取主页作品 / 点赞 / 合集 / 原声按 mode 组合直播支持解析直播间输出清晰度列表与流地址去重与增量SQLite 本地文件双校验跳过已存在失败兜底自动重试、限速、浏览器策略接管元数据封面、头像、JSON、可选评论数据链接类型大致如下一条链接对应一种内容https://v.douyin.com/xxxx/ # 短链自动解析 https://www.douyin.com/video/xxxx # 单个视频 https://www.douyin.com/note/xxxx # 图文笔记 https://www.douyin.com/collection/xxxx# 合集 https://www.douyin.com/music/xxxx # 音乐原声 https://www.douyin.com/user/xxxx # 用户主页批量 https://live.douyin.com/xxxx # 直播间它解决的核心是抖音去水印下载里的脏活识别、抓取、归档、去重你只负责给链接。最小可运行路径先跑通一条再谈批量git clone https://gitcode.com/GitHub_Trending/do/douyin-downloader然后cd douyin-downloader——把代码放进本地目录后面所有命令都在这里执行。pip install -r requirements.txt——装 requests、pyyaml、rich 这些基础依赖想用浏览器自动拿 Cookie 再补pip install playwright。cp config.example.yml config.yml填一个单条视频链接——V1.0 入口DouYinCommand.py对单条最稳先验证 Cookie 和网络别一上来就批量。在 config.yml 里配登录态cookies: autoPlaywright 自动登录或粘贴浏览器导出的整串 cookie——大部分主页类请求没 Cookie 会直接空手。python DouYinCommand.py——默认读取同目录的 config.yml先打印本次配置再逐条推进度条结尾给出成功数与耗时。跑主页批量另有 V2.0 入口python downloader.py -u https://www.douyin.com/user/xxxx加--auto-cookie可跳过手工配 Cookie。⚙️ 配置体系按任务拆开四个字段组程序加载配置的方式是「默认值 你的覆盖」所以不必写全缺省项都有合理默认。下面按四个问题拆。link 与 mode链接定范围模式定取哪层同样是主页链接mode不同抓回来的东西完全不同。post取发布作品like取点赞mix取该用户创建的合集——合集模式下会先列出全部合集再逐合集抓作品受number.mix与number.allmix分别控制。单条、合集、直播链接不读 mode类型由链接本身决定。link: - https://www.douyin.com/user/MS4wLjABAAAAxxxx mode: - post # 发布作品 - like # 点赞过的 - mix # 创建的合集number / start_time / end_time圈定抓取范围场景某博主 500 条作品你只要近两年的 50 条。number里 0 表示不限制非零即上限时间窗口用YYYY-MM-DDend_time写now会自动替换成当天。这一组字段决定了翻页翻到哪停批量任务里最容易被忽略。number: post: 50 # 0 表示不限制 like: 0 mix: 0 start_time: 2024-01-01 end_time: nowthread / retry / 限速性能与风控的平衡几十条作品想跑快点又怕触发风控。thread默认 5因为并发再高抖音侧的限流概率明显上升网络好时提到 8 封顶retry_times: 3用来吸收偶发失败max_per_second把每秒请求数压在 2~3降低被盯上的概率网络不稳时配proxy。API 受限时开browser_fallback程序会弹出真实浏览器窗口你手动完成一次验证后继续抓。Cookie 也在这一层autoPlaywright 引导登录、整串字符串、键值对三种写法按字符串优先于键值对的优先级取。它有过期时间失效的恢复动作放在排障一节。thread: 5 # 并发线程网好可到 8 retry_times: 3 # 单条失败重试 max_per_second: 2 # 每秒请求上限防风控 proxy: # 需要时填 http://127.0.0.1:7890 browser_fallback: enabled: true # API 受限时浏览器接管path / 产出开关控制落盘内容想要每条作品都带原声和封面又不想重复跑时把硬盘塞满music、cover、avatar、json默认全开database: true把下载记录写进 SQLite配合本地文件双重校验下次自动跳过increase是抖音增量下载开关对 post / like 生效只拉新增。需要评论数据时可开启抖音评论采集按作品落一份评论 JSON。目录按「用户 → 模式 → 日期_标题」分层Downloaded/ └── user_昵称_secuid/ ├── post/2024-12-30_标题/ │ ├── video.mp4 # 无水印视频 │ ├── music.mp3 # 原声 │ ├── cover.jpg # 封面 │ └── result.json # 元数据 ├── like/ └── mix/合集名/常用字段的建议值汇总字段作用建议值thread并发线程5网好 8retry_times单条重试3max_per_second每秒请求数2~3database数据库去重trueincrease.*增量模式post/like 可开start_time / end_time时间窗口按需end_time 可写 now 典型任务实战备份、直播、增量、转写四种用法备份一位创作者link 填主页mode 写 post mixnumber 里 post 与 allmix 都设 0其余不动。预期产出post 目录收全部作品mix 目录下每个合集一个子目录每条都带视频、封面、音频。批量跑满时进度条如下逐条 100% 收口。录一整场直播python DouYinCommand.py -l https://live.douyin.com/273940655995。程序先打印直播间标题、主播、在线人数再列出 0/1/2 对应 FULL_HD1、SD1、SD2 三档清晰度选中后输出流地址并存一份 result.json把流地址交给录制工具即可拿到整场这就是抖音直播录制的最小路径。每天增量拉新增increase.post: true加database: true配置一次后每天执行同一条命令即可第二次起只处理当天新发布的旧的靠双校验跳过这就是抖音增量下载的日常用法。视频转文字稿开启 transcriptenabled: true配一个转写模型每个视频旁会生成 txt 与 json 两份转写结果适合做素材归档后的二次加工。️ 桌面版 Douzy鼠标用户的那一半douyin-downloader 还带一个桌面客户端 Douzy本地逻辑与命令行同源粘贴链接它自动识别内容类型勾选作品、喜欢、合集后一键运行全程可视化。差异在任务管理。任务中心把进行中、成功、失败的任务摆在一起能直接打开目录、查看详情跑批量时不必盯终端历史下载进入本地数据库后可按博主、关键词、时间范围多维检索档案里还能一键补下博主的最新作品相当于建了个可检索的内容库。每个任务附带事件流从解析链接、排队到处理完成每一步状态可查卡顿能立刻定位到环节。分工上命令行管定时脚本和 CI 式批量Douzy 管日常零散抓取两者数据互通按需切换。 排障与调优从症状到命令突然大面积失败。根因十有八九是 Cookie 过期有效期以天计。恢复路径很短重跑python cookie_extractor.py写入新 Cookie或直接python downloader.py --auto-cookie -u 主页链接让 Playwright 现取配置本身不用动。只能抓到 35 条左右就停。API 翻页每页 35 条卡在这里通常是翻页风控。解法是开browser_fallback弹窗里手动完成一次验证后继续这时别反向操作去拉高并发只会更快被限。同一条作品又被下了一遍。双校验的前提是数据库记录和本地文件都在只删了文件没清库、或只清库没删文件都会出现错位。要重下某条两步缺一不可sqlite3 dy_downloader.db DELETE FROM aweme WHERE aweme_id ID;清库再删掉对应本地文件夹重跑命令。查历史下载记录。直接问数据库sqlite3 dy_downloader.db SELECT aweme_id, title, datetime(download_time,unixepoch,localtime) FROM aweme ORDER BY download_time DESC LIMIT 20;。速度太慢。按顺序调三处thread 从 5 提到 8、max_per_second 从 2 放宽到 3、必要时挂 proxy。循序渐进一次拉满会触发风控反而更慢。改了配置不生效。yamlConfig 读的是脚本所在目录的 config.yml文件放在别处时要走-F 配置文件路径显式传入。把第一条视频存下来之前先做三件事clone 仓库跑通单条确认 Cookie 有效复制一份 config 改名为「完整备份」mode 写 post mix、number 清零日常零散下载交给 Douzy定时批量留给命令行。请仅用于个人数据管理尊重版权。【免费下载链接】douyin-downloaderA practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support. 抖音批量下载工具去水印支持视频、图集、合集、音乐(原声)。项目地址: https://gitcode.com/GitHub_Trending/do/douyin-downloader创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表