Data-Juicer 本地部署实战零基础手把手 20 分钟跑通第一条数据处理流水线【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer面对几十 GB 的训练语料清洗、去重、过滤全靠自己写脚本跑一次要等半天还动不动内存溢出——这是不少同学在大模型数据预处理时踩过的坑。Data-Juicer数据榨汁机正是为解决这类问题而生的一站式数据处理系统它把清洗、去重、过滤、转换等能力封装成 200 可自由组合的算子像搭积木一样拼出你的数据处理流水线。本文不绕弯子直接带你从零开始用 20 分钟在个人电脑上完成部署并跑通第一个真实任务全程给出可直接复制的命令和每一步的预期输出。为什么选 Data-Juicer 而不是自己写脚本先花 30 秒认识一下这个榨汁机在干什么你把一堆带皮、带籽、有烂果的原始数据乱码、重复文本、超长超短、夹杂广告倒进去它按你配置的榨汁工艺也就是处理算子把干净可用的数据榨出来。核心价值有三个算子即积木文本、图像、音频、视频的算子超过 200 个从text_length_filter到image_deduplicator多数场景不用写一行代码。配置即流水线整个处理流程写在 YAML 文件里换数据、调参数只改配置不用改代码还能整套复用到新任务。本地可跑、云端可扩个人电脑上单机跑小数据集数据量大了可以平滑切换到 Ray 分布式架构不用重写。里程碑0 · 出发前自检1 分钟确认环境达标小目标确认你的电脑满足运行条件不满足也知道去哪补。验证方式三条检查命令全部顺利输出版本号即可进入下一关。先运行下面三条命令对照表格自查python3 --version gcc --version git --version检查项推荐要求不达标的兜底方案操作系统Linux / macOS / Windows(WSL)Windows 原生运行建议装 WSL2兼容性最好Python3.8 ~ 3.10用 Anaconda 或 pyenv 单独建一个 3.10 环境别动系统 PythonGCC5.0 以上支持 C14Linux 执行apt-get install build-essential内存8GB 起步16GB 更从容先用 1 万行以内的小数据做验证把进程数调小磁盘至少 10GB 空闲处理大文件时把输入输出放到 SSD 分区如果 Python 版本不对这是最常见的拦路虎。用 conda 一步到位conda create -n dj python3.10 -y conda activate dj创建完成后重新执行python3 --version看到 3.10.x 就算过关。✅里程碑1 · 先跑起来用最简安装 5 分钟内看到成果小目标让 Data-Juicer 真正在电脑上转起来看到第一条处理结果。验证方式出现processed相关的完成日志输出目录里出现结果文件。很多教程上来就让你把[all]全家桶装完结果编译半小时、报错一屏幕信心全没了。我们换个节奏先用最小依赖装上跑通再说。第一步拿到源码git clone https://gitcode.com/gh_mirrors/da/data-juicer.git cd>pip install -v -e . 这行的意思是以开发模式安装当前目录。-e表示以后改源码不用重装对想研究项目的你很友好-v只是让你看到安装过程装慢的时候不至于干等。安装成功时最后几行会显示类似Successfully installed>python -c import data_juicer as dj; print(dj.__version__)能输出一个版本号比如1.5.x说明核心装好了。✅第三步跑官方最小示例项目自带的示例配置和演示数据都在demos/目录下。我们先不做任何改造直接原样跑python tools/process_data.py --config demos/process_simple/process.yaml预期输出大致长这样日志会多很多重点看最后两行Running executor... Process finished! 10 samples - 5 samples⚠️ 如果你看到language_id_score_filter报错提示下载模型失败别慌这个算子的语言识别模型需要联网下载一次首次运行等它下完即可实在下不动跳过本步直接看里程碑3用纯规则算子跑一样能验证安装没问题。去输出目录确认战果ls outputs/demo-process/ cat outputs/demo-process/demo-processed.jsonl预期能看到 5 条左右只保留中文的样本。到这里你的第一杯数据果汁已经榨出来了。里程碑2 · 正式配置理解依赖标签和配置文件的每个旋钮小目标按需选对安装标签能读懂并修改一份处理配置文件。验证方式你改完的参数能在日志里看到生效。依赖标签怎么选别一上来就[all][all]会把科学计算、分布式、质量评估等所有依赖一次性装齐耗时和踩坑概率都会上升。按需选择即可安装方式一句话说明适合谁pip install -v -e .基础核心绝大多数文本清洗场景够用新手、纯文本任务pip install -v -e .[sci]补全科学类算子依赖要处理学术论文、复杂代码pip install -v -e .[dist]引入 Ray 分布式能力计划跑多机大规模数据pip install -v -e .[tools]质量分类器等专项工具要做数据质量评估pip install -v -e .[all]全都要装一次省心想全面探索磁盘和耐心都充足 一个好习惯先装基础版把流程跑通缺哪个功能再补哪个标签报错信息会明确告诉你要装什么。读懂一份配置文件全局参数 算子流水线以demos/process_simple/process.yaml为例它是 Data-Juicer 配置文件的标准骨架# global parameters —— 全局参数区 project_name: demo-process dataset_path: ./demos/data/demo-dataset.jsonl # 输入数据 np: 4 # 并行进程数 export_path: ./outputs/demo-process/demo-processed.jsonl # 输出文件 # process schedule —— 算子流水线区 process: - language_id_score_filter: # 算子名 lang: zh # 保留中文 min_score: 0.8 # 置信度阈值几个关键旋钮的含义和设置思路dataset_path数据入口。支持单文件、目录也支持 jsonl、parquet、csv 等多种格式多模态数据还能指到图片/视频所在目录。np并行进程数。个人电脑上建议设为 CPU 核心数的 1~2 倍。设大了内存飙升设小了浪费算力——先跑一次小数据看耗时再定。process流水线核心从上到下依次执行。顺序很重要比如先过滤掉脏文本再做去重能省不少计算量。算子的内层参数每个算子有自己的专属参数比如这里的lang和min_score。想了解某个算子的全部参数直接在docs/operators/目录下找同名文档。想快速知道项目里有哪些算子可以用看一眼data_juicer/ops/下的目录结构就能心里有数filter过滤、mapper改写/映射、deduplicator去重、selector挑选等职责一目了然。里程碑3 · 实战演练给一份脏中文数据做标准清洗小目标用真实工作流的思路完成过滤短文本 → 去重 → 输出三步曲。验证方式每一步的输入输出行数变化符合预期。纸上谈兵结束来做点像样的。假设你刚爬了一批中文评论数据my-dataset.jsonl里面混着空白、重复和一堆杂音。我们建一份自己的配置。第 1 步准备输入数据在demos/data/下放一份测试文件你也可以直接用现成的demo-dataset.jsonl感受效果head -3 demos/data/demo-dataset.jsonl预期输出是三条 JSON 行每条有text和meta两个字段——这就是 Data-Juicer 默认能直接消费的格式。第 2 步编写清洗流水线新建my_process.yaml放在项目根目录即可project_name: my-first-pipeline dataset_path: ./demos/data/demo-dataset.jsonl np: 4 export_path: ./outputs/my-process/clean.jsonl process: - text_length_filter: # 过滤太短的文本 min_len: 10 - alphanumeric_filter: # 过滤字母数字占比过低的文本挤掉乱码和符号堆 min_ratio: 0.2 - document_deduplicator: # 整篇去重 lowercase: true ignore_non_character: true每条算子是干什么的、为什么要加说清楚text_length_filtermin_len: 10把嗯好的这类无信息量短文本剔除。设 10 是因为中文单条低于 10 个字通常没有训练价值。alphanumeric_filtermin_ratio: 0.2算一算字母数字占总字符的比例低于阈值就丢弃。这一手能精准干掉全是 emoji、标点或特殊符号的垃圾行。document_deduplicator整篇文本去重lowercase: true让大小写不同也算重复。爬虫数据最常见的毛病就是重复这一步几乎必备。第 3 步运行并核对每一步python tools/process_data.py --config my_process.yaml然后对比处理前后wc -l demos/data/demo-dataset.jsonl # 原始行数 wc -l outputs/my-process/clean.jsonl # 处理后行数 cat outputs/my-process/clean.jsonl # 用眼睛抽查结果预期结果原始数据 6 行处理后大约 2~3 行留下来的都是像个正常人说话的句子。比如示例数据里那句纯英文的会因text_length_filter或者语言过滤被清掉重复内容也不会出现两遍。✅第 4 步加分项跑一次数据质量分析处理完还想知道这批数据整体健不健康项目自带分析工具python tools/analyze_data.py --config demos/analyze_simple/analyzer.yaml运行后去outputs/demo-analyzer/目录看分析报告能拿到长度分布、语言占比、困惑度等统计指标。这个动作建议养成习惯每个新数据集开工前先分析一轮参数设多少心里就有谱了。里程碑4 · 调优与排坑让速度起飞让报错止步小目标掌握提速三板斧遇到高频报错能自己定位解决。验证方式调参后处理耗时明显下降对照表里的症状能对号入座。性能调优三板斧第一斧先小样后全量。拿 1%~5% 的抽样数据把参数和算子顺序调好再上全量。全量跑一跑就是几十分钟起步试错成本太高。第二斧进程数不是越大越好。np从 1 慢慢加到核心数附近观察内存占用。数据量不大的时候8 进程和 16 进程可能没区别白白多吃内存。第三斧向量化算子优先。同样是过滤text_length_filter这类纯规则算子几乎瞬时完成而perplexity_filter困惑度过滤要加载模型跑推理慢几个数量级。能用规则解决就别上模型。高频报错对照表症状原因解法编译报错command gcc failed系统缺 C 编译器安装build-essentialUbuntu或xcode-select --installmacOS进程被系统杀掉日志末尾是Killed内存溢出OOM把np调小到 1~2换成 parquet 输入格式或先切片再跑ModuleNotFoundError: xxx用了某个算子的专属依赖基础版没装对照报错名补装对应标签如pip install -v -e .[sci]中文全部变成乱码???输入文件不是 UTF-8 编码确认数据源编码必要时先转码再喂给 Data-Juicer模型类算子首次运行卡住正在下载预训练模型首次耐心等待断网环境先在有网机器把缓存目录拷过来输出文件行数没变化算子阈值设得过松调严参数或先跑分析工具看数据分布再定阈值 想定位哪一步把数据改坏了一个小技巧把流水线拆成两段分别导出中间结果逐段对比问题算子立刻现形。收尾 · 总结与进阶接下来往哪走回看开头立的目标20 分钟完成部署并跑通第一个真实任务。到这里你应该已经完成了——装上了 Data-Juicer跑通了官方示例看懂并改写了一份 YAML 配置还亲手完成了一条过滤 → 去重 → 输出的清洗流水线甚至拿到了数据分析报告。✅想继续深入按这个顺序探索先熟悉算子全家桶翻data_juicer/ops/目录按filter / mapper / deduplicator / selector四类逐个看文档在docs/operators/下对应同名文件。看真实配方demos/下每个子目录都是一个真实场景的完整示例比如process_code_data/是代码数据处理、process_cft_zh_data/是中文指令微调数据清洗直接抄作业比自己摸索快得多。研究缓存机制看过docs/Cache.md后你会发现算子结果可以缓存复用同一批数据调参不用从头跑这是效率跃升的关键。拥抱分布式单机跑不动了pip install -v -e .[dist]装上 Ray 支持参考demos/process_on_ray/和docs/Distributed.md平滑升级。数据处理是个越做越有手感的事先让流水线跑起来再谈参数精调最后才考虑规模。Data-Juicer 把最难的部分算子实现、并行调度、格式兼容替你扛了你要做的只是描述想怎么处理剩下的交给它。动手吧你的下一杯数据果汁已经在路上了。【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Data-Juicer 本地部署实战：零基础手把手 20 分钟跑通第一条数据处理流水线
Data-Juicer 本地部署实战零基础手把手 20 分钟跑通第一条数据处理流水线【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer面对几十 GB 的训练语料清洗、去重、过滤全靠自己写脚本跑一次要等半天还动不动内存溢出——这是不少同学在大模型数据预处理时踩过的坑。Data-Juicer数据榨汁机正是为解决这类问题而生的一站式数据处理系统它把清洗、去重、过滤、转换等能力封装成 200 可自由组合的算子像搭积木一样拼出你的数据处理流水线。本文不绕弯子直接带你从零开始用 20 分钟在个人电脑上完成部署并跑通第一个真实任务全程给出可直接复制的命令和每一步的预期输出。为什么选 Data-Juicer 而不是自己写脚本先花 30 秒认识一下这个榨汁机在干什么你把一堆带皮、带籽、有烂果的原始数据乱码、重复文本、超长超短、夹杂广告倒进去它按你配置的榨汁工艺也就是处理算子把干净可用的数据榨出来。核心价值有三个算子即积木文本、图像、音频、视频的算子超过 200 个从text_length_filter到image_deduplicator多数场景不用写一行代码。配置即流水线整个处理流程写在 YAML 文件里换数据、调参数只改配置不用改代码还能整套复用到新任务。本地可跑、云端可扩个人电脑上单机跑小数据集数据量大了可以平滑切换到 Ray 分布式架构不用重写。里程碑0 · 出发前自检1 分钟确认环境达标小目标确认你的电脑满足运行条件不满足也知道去哪补。验证方式三条检查命令全部顺利输出版本号即可进入下一关。先运行下面三条命令对照表格自查python3 --version gcc --version git --version检查项推荐要求不达标的兜底方案操作系统Linux / macOS / Windows(WSL)Windows 原生运行建议装 WSL2兼容性最好Python3.8 ~ 3.10用 Anaconda 或 pyenv 单独建一个 3.10 环境别动系统 PythonGCC5.0 以上支持 C14Linux 执行apt-get install build-essential内存8GB 起步16GB 更从容先用 1 万行以内的小数据做验证把进程数调小磁盘至少 10GB 空闲处理大文件时把输入输出放到 SSD 分区如果 Python 版本不对这是最常见的拦路虎。用 conda 一步到位conda create -n dj python3.10 -y conda activate dj创建完成后重新执行python3 --version看到 3.10.x 就算过关。✅里程碑1 · 先跑起来用最简安装 5 分钟内看到成果小目标让 Data-Juicer 真正在电脑上转起来看到第一条处理结果。验证方式出现processed相关的完成日志输出目录里出现结果文件。很多教程上来就让你把[all]全家桶装完结果编译半小时、报错一屏幕信心全没了。我们换个节奏先用最小依赖装上跑通再说。第一步拿到源码git clone https://gitcode.com/gh_mirrors/da/data-juicer.git cd>pip install -v -e . 这行的意思是以开发模式安装当前目录。-e表示以后改源码不用重装对想研究项目的你很友好-v只是让你看到安装过程装慢的时候不至于干等。安装成功时最后几行会显示类似Successfully installed>python -c import data_juicer as dj; print(dj.__version__)能输出一个版本号比如1.5.x说明核心装好了。✅第三步跑官方最小示例项目自带的示例配置和演示数据都在demos/目录下。我们先不做任何改造直接原样跑python tools/process_data.py --config demos/process_simple/process.yaml预期输出大致长这样日志会多很多重点看最后两行Running executor... Process finished! 10 samples - 5 samples⚠️ 如果你看到language_id_score_filter报错提示下载模型失败别慌这个算子的语言识别模型需要联网下载一次首次运行等它下完即可实在下不动跳过本步直接看里程碑3用纯规则算子跑一样能验证安装没问题。去输出目录确认战果ls outputs/demo-process/ cat outputs/demo-process/demo-processed.jsonl预期能看到 5 条左右只保留中文的样本。到这里你的第一杯数据果汁已经榨出来了。里程碑2 · 正式配置理解依赖标签和配置文件的每个旋钮小目标按需选对安装标签能读懂并修改一份处理配置文件。验证方式你改完的参数能在日志里看到生效。依赖标签怎么选别一上来就[all][all]会把科学计算、分布式、质量评估等所有依赖一次性装齐耗时和踩坑概率都会上升。按需选择即可安装方式一句话说明适合谁pip install -v -e .基础核心绝大多数文本清洗场景够用新手、纯文本任务pip install -v -e .[sci]补全科学类算子依赖要处理学术论文、复杂代码pip install -v -e .[dist]引入 Ray 分布式能力计划跑多机大规模数据pip install -v -e .[tools]质量分类器等专项工具要做数据质量评估pip install -v -e .[all]全都要装一次省心想全面探索磁盘和耐心都充足 一个好习惯先装基础版把流程跑通缺哪个功能再补哪个标签报错信息会明确告诉你要装什么。读懂一份配置文件全局参数 算子流水线以demos/process_simple/process.yaml为例它是 Data-Juicer 配置文件的标准骨架# global parameters —— 全局参数区 project_name: demo-process dataset_path: ./demos/data/demo-dataset.jsonl # 输入数据 np: 4 # 并行进程数 export_path: ./outputs/demo-process/demo-processed.jsonl # 输出文件 # process schedule —— 算子流水线区 process: - language_id_score_filter: # 算子名 lang: zh # 保留中文 min_score: 0.8 # 置信度阈值几个关键旋钮的含义和设置思路dataset_path数据入口。支持单文件、目录也支持 jsonl、parquet、csv 等多种格式多模态数据还能指到图片/视频所在目录。np并行进程数。个人电脑上建议设为 CPU 核心数的 1~2 倍。设大了内存飙升设小了浪费算力——先跑一次小数据看耗时再定。process流水线核心从上到下依次执行。顺序很重要比如先过滤掉脏文本再做去重能省不少计算量。算子的内层参数每个算子有自己的专属参数比如这里的lang和min_score。想了解某个算子的全部参数直接在docs/operators/目录下找同名文档。想快速知道项目里有哪些算子可以用看一眼data_juicer/ops/下的目录结构就能心里有数filter过滤、mapper改写/映射、deduplicator去重、selector挑选等职责一目了然。里程碑3 · 实战演练给一份脏中文数据做标准清洗小目标用真实工作流的思路完成过滤短文本 → 去重 → 输出三步曲。验证方式每一步的输入输出行数变化符合预期。纸上谈兵结束来做点像样的。假设你刚爬了一批中文评论数据my-dataset.jsonl里面混着空白、重复和一堆杂音。我们建一份自己的配置。第 1 步准备输入数据在demos/data/下放一份测试文件你也可以直接用现成的demo-dataset.jsonl感受效果head -3 demos/data/demo-dataset.jsonl预期输出是三条 JSON 行每条有text和meta两个字段——这就是 Data-Juicer 默认能直接消费的格式。第 2 步编写清洗流水线新建my_process.yaml放在项目根目录即可project_name: my-first-pipeline dataset_path: ./demos/data/demo-dataset.jsonl np: 4 export_path: ./outputs/my-process/clean.jsonl process: - text_length_filter: # 过滤太短的文本 min_len: 10 - alphanumeric_filter: # 过滤字母数字占比过低的文本挤掉乱码和符号堆 min_ratio: 0.2 - document_deduplicator: # 整篇去重 lowercase: true ignore_non_character: true每条算子是干什么的、为什么要加说清楚text_length_filtermin_len: 10把嗯好的这类无信息量短文本剔除。设 10 是因为中文单条低于 10 个字通常没有训练价值。alphanumeric_filtermin_ratio: 0.2算一算字母数字占总字符的比例低于阈值就丢弃。这一手能精准干掉全是 emoji、标点或特殊符号的垃圾行。document_deduplicator整篇文本去重lowercase: true让大小写不同也算重复。爬虫数据最常见的毛病就是重复这一步几乎必备。第 3 步运行并核对每一步python tools/process_data.py --config my_process.yaml然后对比处理前后wc -l demos/data/demo-dataset.jsonl # 原始行数 wc -l outputs/my-process/clean.jsonl # 处理后行数 cat outputs/my-process/clean.jsonl # 用眼睛抽查结果预期结果原始数据 6 行处理后大约 2~3 行留下来的都是像个正常人说话的句子。比如示例数据里那句纯英文的会因text_length_filter或者语言过滤被清掉重复内容也不会出现两遍。✅第 4 步加分项跑一次数据质量分析处理完还想知道这批数据整体健不健康项目自带分析工具python tools/analyze_data.py --config demos/analyze_simple/analyzer.yaml运行后去outputs/demo-analyzer/目录看分析报告能拿到长度分布、语言占比、困惑度等统计指标。这个动作建议养成习惯每个新数据集开工前先分析一轮参数设多少心里就有谱了。里程碑4 · 调优与排坑让速度起飞让报错止步小目标掌握提速三板斧遇到高频报错能自己定位解决。验证方式调参后处理耗时明显下降对照表里的症状能对号入座。性能调优三板斧第一斧先小样后全量。拿 1%~5% 的抽样数据把参数和算子顺序调好再上全量。全量跑一跑就是几十分钟起步试错成本太高。第二斧进程数不是越大越好。np从 1 慢慢加到核心数附近观察内存占用。数据量不大的时候8 进程和 16 进程可能没区别白白多吃内存。第三斧向量化算子优先。同样是过滤text_length_filter这类纯规则算子几乎瞬时完成而perplexity_filter困惑度过滤要加载模型跑推理慢几个数量级。能用规则解决就别上模型。高频报错对照表症状原因解法编译报错command gcc failed系统缺 C 编译器安装build-essentialUbuntu或xcode-select --installmacOS进程被系统杀掉日志末尾是Killed内存溢出OOM把np调小到 1~2换成 parquet 输入格式或先切片再跑ModuleNotFoundError: xxx用了某个算子的专属依赖基础版没装对照报错名补装对应标签如pip install -v -e .[sci]中文全部变成乱码???输入文件不是 UTF-8 编码确认数据源编码必要时先转码再喂给 Data-Juicer模型类算子首次运行卡住正在下载预训练模型首次耐心等待断网环境先在有网机器把缓存目录拷过来输出文件行数没变化算子阈值设得过松调严参数或先跑分析工具看数据分布再定阈值 想定位哪一步把数据改坏了一个小技巧把流水线拆成两段分别导出中间结果逐段对比问题算子立刻现形。收尾 · 总结与进阶接下来往哪走回看开头立的目标20 分钟完成部署并跑通第一个真实任务。到这里你应该已经完成了——装上了 Data-Juicer跑通了官方示例看懂并改写了一份 YAML 配置还亲手完成了一条过滤 → 去重 → 输出的清洗流水线甚至拿到了数据分析报告。✅想继续深入按这个顺序探索先熟悉算子全家桶翻data_juicer/ops/目录按filter / mapper / deduplicator / selector四类逐个看文档在docs/operators/下对应同名文件。看真实配方demos/下每个子目录都是一个真实场景的完整示例比如process_code_data/是代码数据处理、process_cft_zh_data/是中文指令微调数据清洗直接抄作业比自己摸索快得多。研究缓存机制看过docs/Cache.md后你会发现算子结果可以缓存复用同一批数据调参不用从头跑这是效率跃升的关键。拥抱分布式单机跑不动了pip install -v -e .[dist]装上 Ray 支持参考demos/process_on_ray/和docs/Distributed.md平滑升级。数据处理是个越做越有手感的事先让流水线跑起来再谈参数精调最后才考虑规模。Data-Juicer 把最难的部分算子实现、并行调度、格式兼容替你扛了你要做的只是描述想怎么处理剩下的交给它。动手吧你的下一杯数据果汁已经在路上了。【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考