从零跑通大模型数据清洗Data-Juicer 本地部署与上手完整指南【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer一句话认识它Data-Juicer 是面向大模型LLM的一站式数据处理工具把清洗、去重、过滤、转换、分析这些琐碎活封装成 200 多个可自由组合的算子让你用一份 YAML 配置就能把杂乱原始语料加工成可以直接喂给模型的干净数据。本文带你用三步走在个人电脑上把它跑起来先搭环境再跑通第一个清洗 Demo最后写出属于你自己的数据清洗流水线。全程只讲能落地的命令和配置照抄即可。一、先搞懂它到底解决什么问题 动手之前先想清楚一个朴素的道理模型质量的上限取决于喂给它的数据。垃圾进垃圾出Garbage In, Garbage Out这是所有炼丹人迟早要交的学费。想象你从网上爬来了 100 万条文本里面有乱码、有广告、有重复段落、有法语夹在中文语料里还有几千字全是重复标点的水文。手动处理不现实。写脚本处理每个清洗环节都是新坑正则要调试、去重要去重成什么样、多语言识别要调库……而 Data-Juicer 的思路很简单把清洗流程变成流水线把每个清洗环节变成流水线上的一个工位算子。你可以把算子理解为一个个零件算子类型作用生活中的类比Filter过滤器把不合格的数据淘汰掉质检工位次品直接筛走Mapper映射器把数据改成另一种形态加工工位去重、转码、扩写Deduplicator去重器消除重复内容查重工位Selector / Aggregator按规则挑出/聚合子集分拣工位你只需要在 YAML 文件里列出工位清单和每个工位的参数剩下的调度、并行、进度监控都由工具完成。是不是很像搭乐高二、第一步搭好环境约 10 分钟✅2.1 先自查三样东西开工前先检查环境别急着装python3 --version # 需要 3.10 及以上建议 3.10~3.12 gcc --version # 需要支持 C14 git --version⚠️新手最容易踩的坑Data-Juicer 要求Python ≥ 3.10低于 3.10 会直接装不上部分依赖对 3.13 也有限制。如果你系统自带的是 Python 3.8别硬来用 pyenv 或 conda 单独装一个 3.10/3.11 的虚拟环境更省心。推荐用虚拟环境隔离依赖避免污染系统 Pythonpython3 -m venv dj-env source dj-env/bin/activate # Windows 用 dj-env\Scripts\activate2.2 获取源码并安装两种方式任选我更推荐源码安装因为后续想改算子、看实现都方便还能同步最新特性git clone https://gitcode.com/gh_mirrors/da/data-juicer.git cd>uv pip install py-data-juicer装完顺手验证一下import data_juicer as dj print(dj.__version__)能打印出版本号形如1.5.x说明安装成功 。2.3 按需补装可选依赖默认安装只含核心功能项目还提供了多组可选依赖用哪个装哪个别一上来就[all]非常重安装标签用途.[nlp]文本处理全家桶语言检测、困惑度、分词、OCR 等.[vision]图片/视频算子美学评分、去重、人脸检测等.[audio]音频算子.[dist]Ray 分布式处理数据量大到单机扛不住时再用.[tools]数据分析、MCP 服务等辅助工具.[all]全部依赖磁盘和安装时间都要有心理准备比如你想用困惑度过滤PerplexityFilter就得装.[nlp]pip install -v -e .[nlp] 环境变量DATA_JUICER_CACHE_HOME可自定义模型下载缓存目录默认在~/.cache/data_juicer。磁盘紧张的朋友建议提前指到剩余空间大的盘export DATA_JUICER_CACHE_HOME/data/cache/dj三、第二步跑通第一个清洗 Demo约 3 分钟⏱️环境搭好了现在做一次最小闭环让工具真的跑起来、真的输出一份干净数据。做完这步你对它的信任感就建立了。3.1 看看示例数据长什么样项目自带一份混合语料的示例数据demos/data/demo-dataset.jsonl前几行是{text: Today is Sunday and its a happy day!, meta: {src: Arxiv}} {text: 你好请问你是谁, meta: {src: customized}} {text: Sur la plateforme MT4, plusieurs manières daccéder ..., meta: {src: Oscar}}看到了吧英文、中文、法语混在一起——这正是真实爬取语料的缩影。我们的目标就是把其中属于指定语言比如中文且质量达标的文本挑出来。3.2 直接用现成配置跑起来项目里已经准备了一个最小配置demos/process_simple/process.yamlproject_name: demo-process dataset_path: ./demos/data/demo-dataset.jsonl np: 4 export_path: ./outputs/demo-process/demo-processed.jsonl process: - language_id_score_filter: lang: zh min_score: 0.8含义一目了然读入数据用 4 个子进程并行处理只保留中文置信度 ≥ 0.8的文本结果导出到指定路径。运行它python tools/process_data.py --config demos/process_simple/process.yaml 也可以直接用安装后生成的命令dj-process --config demos/process_simple/process.yaml效果一样。3.3 验证结果给自己一个正反馈看输出有没有真的过滤wc -l demos/data/demo-dataset.jsonl # 原始数据行数 wc -l outputs/demo-process/demo-processed.jsonl # 处理后的行数 cat outputs/demo-process/demo-processed.jsonl # 亲眼看看剩下了什么你会发现法语、英文样本被筛掉了留下的基本都是中文文本——你的第一条数据清洗流水线通了。四、第三步组装你自己的清洗流水线 Demo 跑通只是热身。现在把示例里的工位换成你自己的质检组合并造一份属于自己的配置文件。4.1 认识几个高频算子先熟悉几个新手最常用、又不需要下载大模型的算子process: # 工位1过滤长度不合理的文本太短的没有信息量太长的可能是拼接垃圾 - text_length_filter: min_len: 50 max_len: 5000 # 工位2过滤非字母数字占比过高的样本乱码、纯符号文本会在这里落网 - alphanumeric_filter: min_ratio: 0.5 # 工位3剔除整段重复的文档爬虫数据常见 - document_deduplicator: method: md5 # 工位4停用词占比过高的弱内容 - stopwords_filter: lang: zh max_ratio: 0.34.2 写一份你自己的配置my_first_recipe.yamlproject_name: my-first-clean dataset_path: ./my-dataset.jsonl # 换成你自己的数据 export_path: ./outputs/my-first-clean.jsonl np: 4 # 建议设为核心数的 1~2 倍 process: - language_id_score_filter: lang: zh min_score: 0.8 - text_length_filter: min_len: 50 max_len: 5000 - document_deduplicator: method: md5然后执行python tools/process_data.py --config my_first_recipe.yaml4.3 想用模型级质量评估按需加装如果希望过滤更智能比如用困惑度衡量文本流畅度先确保装了.[nlp]再在流水线里追加- perplexity_filter: lang: zh max_ppl: 1000 model: gpt2 # 本地小模型个人电脑跑得动⚠️ 这类算子会首次下载模型权重到缓存目录网络差的朋友记得先配置好DATA_JUICER_CACHE_HOME。五、中途翻车不要慌高频问题排查表 新手最容易在下面四个地方卡住提前看一眼能省半小时症状原因解法gcc编译报错缺少 C 编译器Ubuntu 执行sudo apt-get install build-essentialPython 版本报错系统 Python 3.10用 pyenv/conda 建 3.10 环境别在旧版本上硬扛依赖冲突numpy 等全局环境被污染先pip check定位再在虚拟环境里重装进程被Killed内存不足OOM调小np数据大的话用 parquet 格式存储以省内存 通用排查技巧用pip check检查依赖完整性遇到不确定的报错把错误信息中的关键词丢进项目docs/目录里检索多数问题都有对应说明。六、从个人电脑走向规模化三个进阶旋钮 ️Demo 和自定义流水线都能跑通后你可以按需拧动下面三个旋钮让工具适配更大数据量并行度旋钮np设为核心数 1~2 倍收益最大不是越大越好进程切换开销会反噬。分布式旋钮单机内存告急时在配置里加executor_type: ray配合.[dist]依赖把任务放到 Ray 集群上跑笔记本到千核集群无缝迁移。缓存旋钮项目支持断点缓存与分块处理数据超内存时配合chunk_size等参数分段执行避免一次性全部载入。 追求极致速度的话项目自带算子融合能力把相邻工位合并执行减少开销官方实测可获得数倍加速普通用户无需手动干预。七、清洗完还要看得见数据体检与可视化 清洗结果好不好不能只靠感觉。项目内置了两把体检工具1. 一键统计分析——用现成配置跑一版分析流水线demos/analyze_simple/analyzer.yaml里预置了语言过滤 困惑度过滤的统计逻辑python tools/analyze_data.py --config demos/analyze_simple/analyzer.yaml它会把各项指标文本长度分布、语言占比、困惑度等统计并汇总到输出目录你能直观看到我的数据健康状况如何。2. 交互式可视化面板——项目根目录的app.py基于 Streamlit 构建一键启动streamlit run app.py浏览器打开http://localhost:8501即可在网页上交互式查看数据分布、算子处理效果、多样性分析等图表适合清洗前后对比汇报也适合给团队演示。八、下一步往哪走进阶学习指引 如果你想把 Data-Juicer 玩得更深顺着下面这些路径走比盲目刷文档高效算子说明书docs/Operators.md汇总了全部 200 算子的参数与用法配流水线前先来这查零件规格。配参总纲data_juicer/config/config_all.yaml列出了所有全局配置项比默认配置多了不少可调旋钮。写自己的算子照着docs/DeveloperGuide.md学自定义算子这是从使用者进阶为贡献者的关键一步。现成菜谱docs/tutorial/DJ-Cookbook.md收录了多套典型数据配比/处理方案想偷懒时直接抄作业。源码入口想理解内部调度重点看data_juicer/core/executor/执行器与data_juicer/ops/算子实现。写在最后回顾一下这条路径你从一个面对百万条脏数据无从下手的新手到搭好环境、跑通 Demo、写出自己的清洗流水线、会用分析工具做体检——全程不到半小时。大模型数据清洗这件事门槛比想象中低得多缺的只是一份好用的工具清单和一条清晰的动手路径而这两样你都已经拿到了。剩下的就是把你的真实数据丢进去开始第一次正式清洗吧。【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 从零跑通大模型数据清洗：Data-Juicer 本地部署与上手完整指南
从零跑通大模型数据清洗Data-Juicer 本地部署与上手完整指南【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer一句话认识它Data-Juicer 是面向大模型LLM的一站式数据处理工具把清洗、去重、过滤、转换、分析这些琐碎活封装成 200 多个可自由组合的算子让你用一份 YAML 配置就能把杂乱原始语料加工成可以直接喂给模型的干净数据。本文带你用三步走在个人电脑上把它跑起来先搭环境再跑通第一个清洗 Demo最后写出属于你自己的数据清洗流水线。全程只讲能落地的命令和配置照抄即可。一、先搞懂它到底解决什么问题 动手之前先想清楚一个朴素的道理模型质量的上限取决于喂给它的数据。垃圾进垃圾出Garbage In, Garbage Out这是所有炼丹人迟早要交的学费。想象你从网上爬来了 100 万条文本里面有乱码、有广告、有重复段落、有法语夹在中文语料里还有几千字全是重复标点的水文。手动处理不现实。写脚本处理每个清洗环节都是新坑正则要调试、去重要去重成什么样、多语言识别要调库……而 Data-Juicer 的思路很简单把清洗流程变成流水线把每个清洗环节变成流水线上的一个工位算子。你可以把算子理解为一个个零件算子类型作用生活中的类比Filter过滤器把不合格的数据淘汰掉质检工位次品直接筛走Mapper映射器把数据改成另一种形态加工工位去重、转码、扩写Deduplicator去重器消除重复内容查重工位Selector / Aggregator按规则挑出/聚合子集分拣工位你只需要在 YAML 文件里列出工位清单和每个工位的参数剩下的调度、并行、进度监控都由工具完成。是不是很像搭乐高二、第一步搭好环境约 10 分钟✅2.1 先自查三样东西开工前先检查环境别急着装python3 --version # 需要 3.10 及以上建议 3.10~3.12 gcc --version # 需要支持 C14 git --version⚠️新手最容易踩的坑Data-Juicer 要求Python ≥ 3.10低于 3.10 会直接装不上部分依赖对 3.13 也有限制。如果你系统自带的是 Python 3.8别硬来用 pyenv 或 conda 单独装一个 3.10/3.11 的虚拟环境更省心。推荐用虚拟环境隔离依赖避免污染系统 Pythonpython3 -m venv dj-env source dj-env/bin/activate # Windows 用 dj-env\Scripts\activate2.2 获取源码并安装两种方式任选我更推荐源码安装因为后续想改算子、看实现都方便还能同步最新特性git clone https://gitcode.com/gh_mirrors/da/data-juicer.git cd>uv pip install py-data-juicer装完顺手验证一下import data_juicer as dj print(dj.__version__)能打印出版本号形如1.5.x说明安装成功 。2.3 按需补装可选依赖默认安装只含核心功能项目还提供了多组可选依赖用哪个装哪个别一上来就[all]非常重安装标签用途.[nlp]文本处理全家桶语言检测、困惑度、分词、OCR 等.[vision]图片/视频算子美学评分、去重、人脸检测等.[audio]音频算子.[dist]Ray 分布式处理数据量大到单机扛不住时再用.[tools]数据分析、MCP 服务等辅助工具.[all]全部依赖磁盘和安装时间都要有心理准备比如你想用困惑度过滤PerplexityFilter就得装.[nlp]pip install -v -e .[nlp] 环境变量DATA_JUICER_CACHE_HOME可自定义模型下载缓存目录默认在~/.cache/data_juicer。磁盘紧张的朋友建议提前指到剩余空间大的盘export DATA_JUICER_CACHE_HOME/data/cache/dj三、第二步跑通第一个清洗 Demo约 3 分钟⏱️环境搭好了现在做一次最小闭环让工具真的跑起来、真的输出一份干净数据。做完这步你对它的信任感就建立了。3.1 看看示例数据长什么样项目自带一份混合语料的示例数据demos/data/demo-dataset.jsonl前几行是{text: Today is Sunday and its a happy day!, meta: {src: Arxiv}} {text: 你好请问你是谁, meta: {src: customized}} {text: Sur la plateforme MT4, plusieurs manières daccéder ..., meta: {src: Oscar}}看到了吧英文、中文、法语混在一起——这正是真实爬取语料的缩影。我们的目标就是把其中属于指定语言比如中文且质量达标的文本挑出来。3.2 直接用现成配置跑起来项目里已经准备了一个最小配置demos/process_simple/process.yamlproject_name: demo-process dataset_path: ./demos/data/demo-dataset.jsonl np: 4 export_path: ./outputs/demo-process/demo-processed.jsonl process: - language_id_score_filter: lang: zh min_score: 0.8含义一目了然读入数据用 4 个子进程并行处理只保留中文置信度 ≥ 0.8的文本结果导出到指定路径。运行它python tools/process_data.py --config demos/process_simple/process.yaml 也可以直接用安装后生成的命令dj-process --config demos/process_simple/process.yaml效果一样。3.3 验证结果给自己一个正反馈看输出有没有真的过滤wc -l demos/data/demo-dataset.jsonl # 原始数据行数 wc -l outputs/demo-process/demo-processed.jsonl # 处理后的行数 cat outputs/demo-process/demo-processed.jsonl # 亲眼看看剩下了什么你会发现法语、英文样本被筛掉了留下的基本都是中文文本——你的第一条数据清洗流水线通了。四、第三步组装你自己的清洗流水线 Demo 跑通只是热身。现在把示例里的工位换成你自己的质检组合并造一份属于自己的配置文件。4.1 认识几个高频算子先熟悉几个新手最常用、又不需要下载大模型的算子process: # 工位1过滤长度不合理的文本太短的没有信息量太长的可能是拼接垃圾 - text_length_filter: min_len: 50 max_len: 5000 # 工位2过滤非字母数字占比过高的样本乱码、纯符号文本会在这里落网 - alphanumeric_filter: min_ratio: 0.5 # 工位3剔除整段重复的文档爬虫数据常见 - document_deduplicator: method: md5 # 工位4停用词占比过高的弱内容 - stopwords_filter: lang: zh max_ratio: 0.34.2 写一份你自己的配置my_first_recipe.yamlproject_name: my-first-clean dataset_path: ./my-dataset.jsonl # 换成你自己的数据 export_path: ./outputs/my-first-clean.jsonl np: 4 # 建议设为核心数的 1~2 倍 process: - language_id_score_filter: lang: zh min_score: 0.8 - text_length_filter: min_len: 50 max_len: 5000 - document_deduplicator: method: md5然后执行python tools/process_data.py --config my_first_recipe.yaml4.3 想用模型级质量评估按需加装如果希望过滤更智能比如用困惑度衡量文本流畅度先确保装了.[nlp]再在流水线里追加- perplexity_filter: lang: zh max_ppl: 1000 model: gpt2 # 本地小模型个人电脑跑得动⚠️ 这类算子会首次下载模型权重到缓存目录网络差的朋友记得先配置好DATA_JUICER_CACHE_HOME。五、中途翻车不要慌高频问题排查表 新手最容易在下面四个地方卡住提前看一眼能省半小时症状原因解法gcc编译报错缺少 C 编译器Ubuntu 执行sudo apt-get install build-essentialPython 版本报错系统 Python 3.10用 pyenv/conda 建 3.10 环境别在旧版本上硬扛依赖冲突numpy 等全局环境被污染先pip check定位再在虚拟环境里重装进程被Killed内存不足OOM调小np数据大的话用 parquet 格式存储以省内存 通用排查技巧用pip check检查依赖完整性遇到不确定的报错把错误信息中的关键词丢进项目docs/目录里检索多数问题都有对应说明。六、从个人电脑走向规模化三个进阶旋钮 ️Demo 和自定义流水线都能跑通后你可以按需拧动下面三个旋钮让工具适配更大数据量并行度旋钮np设为核心数 1~2 倍收益最大不是越大越好进程切换开销会反噬。分布式旋钮单机内存告急时在配置里加executor_type: ray配合.[dist]依赖把任务放到 Ray 集群上跑笔记本到千核集群无缝迁移。缓存旋钮项目支持断点缓存与分块处理数据超内存时配合chunk_size等参数分段执行避免一次性全部载入。 追求极致速度的话项目自带算子融合能力把相邻工位合并执行减少开销官方实测可获得数倍加速普通用户无需手动干预。七、清洗完还要看得见数据体检与可视化 清洗结果好不好不能只靠感觉。项目内置了两把体检工具1. 一键统计分析——用现成配置跑一版分析流水线demos/analyze_simple/analyzer.yaml里预置了语言过滤 困惑度过滤的统计逻辑python tools/analyze_data.py --config demos/analyze_simple/analyzer.yaml它会把各项指标文本长度分布、语言占比、困惑度等统计并汇总到输出目录你能直观看到我的数据健康状况如何。2. 交互式可视化面板——项目根目录的app.py基于 Streamlit 构建一键启动streamlit run app.py浏览器打开http://localhost:8501即可在网页上交互式查看数据分布、算子处理效果、多样性分析等图表适合清洗前后对比汇报也适合给团队演示。八、下一步往哪走进阶学习指引 如果你想把 Data-Juicer 玩得更深顺着下面这些路径走比盲目刷文档高效算子说明书docs/Operators.md汇总了全部 200 算子的参数与用法配流水线前先来这查零件规格。配参总纲data_juicer/config/config_all.yaml列出了所有全局配置项比默认配置多了不少可调旋钮。写自己的算子照着docs/DeveloperGuide.md学自定义算子这是从使用者进阶为贡献者的关键一步。现成菜谱docs/tutorial/DJ-Cookbook.md收录了多套典型数据配比/处理方案想偷懒时直接抄作业。源码入口想理解内部调度重点看data_juicer/core/executor/执行器与data_juicer/ops/算子实现。写在最后回顾一下这条路径你从一个面对百万条脏数据无从下手的新手到搭好环境、跑通 Demo、写出自己的清洗流水线、会用分析工具做体检——全程不到半小时。大模型数据清洗这件事门槛比想象中低得多缺的只是一份好用的工具清单和一条清晰的动手路径而这两样你都已经拿到了。剩下的就是把你的真实数据丢进去开始第一次正式清洗吧。【免费下载链接】data-juicerData processing for and with foundation models! ➡️ ➡️ 项目地址: https://gitcode.com/gh_mirrors/da/data-juicer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考