DataFlow基于LLM的一站式智能数据准备与质量评估框架【免费下载链接】DataFlowEasy Data Preparation with latest LLMs-based Operators and Pipelines.项目地址: https://gitcode.com/gh_mirrors/da/DataFlow在数据驱动的AI时代高质量训练数据是模型性能的关键。然而从原始文本、PDF文档到多模态内容数据清洗、评估和准备过程往往耗时费力。DataFlow应运而生——这是一个基于大语言模型的统一数据准备与工作流自动化框架通过创新的算子化设计为研究者、开发者和企业提供高效、可复现的数据质量评估与合成解决方案。 数据质量评估的挑战与DataFlow的解决方案问题传统数据处理的三大痛点在构建高质量AI训练数据时团队常面临以下挑战流程碎片化数据生成、清洗、评估、过滤等环节分散在不同工具中缺乏统一工作流质量评估困难缺乏系统化的多维度数据质量评估标准和方法可复现性差数据处理过程难以追踪和复现影响研究可信度定制化成本高针对特定领域的数据处理需求开发成本高昂解决方案DataFlow的核心架构创新DataFlow采用模块化、算子化的设计理念将复杂的数据处理流程分解为可组合、可复用的基本单元三层架构设计算子层100预置数据处理算子覆盖生成、评估、过滤、精炼等全流程管道层灵活编排算子构建端到端数据处理工作流服务层支持本地模型、API服务和分布式计算等多种部署方式四大核心技术优势PyTorch式编程体验清晰的Pipeline→Operator→Prompt层次结构多维度质量评估体系集成学术界最新评估算法支持文本、代码、数学等多领域可复现的数据治理算法封装为算子管道支持公平比较不同数据治理策略AI智能辅助DataFlow-Agent可自动分析任务需求动态组装处理管道️ 三步配置流程从数据到高质量训练集第一步环境部署与快速安装DataFlow支持Python 3.10环境可通过多种方式快速部署# 使用uv加速安装 pip install uv uv pip install open-dataflow # 如需GPU本地推理支持 uv pip install open-dataflow[vllm] # 验证安装 dataflow -v对于容器化部署DataFlow提供预构建的Docker镜像# 拉取预构建镜像 docker pull molyheci/dataflow:cu124 # 运行容器支持GPU docker run --gpus all -it molyheci/dataflow:cu124第二步核心算子调用与数据管道构建DataFlow的核心是算子化设计每个算子封装特定数据处理任务。以下是一个数学问题求解的示例DataFlow处理复杂几何证明问题的示例将PDF文档中的数学问题自动转换为结构化QA对from dataflow.operators.core_text import PromptedGenerator from dataflow.utils.storage import FileStorage from dataflow.serving import APILLMServing_request # 配置数据存储 storage FileStorage(first_entry_file_name./input.json) # 配置LLM服务 llm_serving APILLMServing_request( api_urlhttps://api.openai.com/v1/chat/completions, ) # 创建提示生成算子 prompted_generator PromptedGenerator( llm_servingllm_serving, system_prompt请解决这个数学问题 ) # 执行数据处理 prompted_generator.run( storagestorage.step(), input_keyproblem, output_keysolution )输入数据格式[ {problem: 计算17 25的结果}, {problem: 如果x 3计算2x² 1的值} ]处理后输出[ {problem: 计算17 25的结果, solution: 42}, {problem: 如果x 3计算2x² 1的值, solution: 19} ]第三步可视化管道编排与智能代理DataFlow提供WebUI界面支持拖拽式管道构建# 启动WebUI dataflow webuiDataFlow支持复杂数学问题的多步骤推导如图中的三角形内切圆几何证明智能代理功能DataFlow-Agent可自动分析数据特点推荐并组装最优处理管道自动识别数据质量问题智能选择评估算子动态调整处理策略 核心算法解析多维度质量评估体系文本质量评估算法DataFlow集成了学术界最新的文本评估算法形成完整的评估体系语义一致性评估BERT语义相似度计算基于深度学习的语义评估模型传统语言学分析方法内容相关性分析N-gram多样性分析主题一致性检测信息熵评估质量过滤算法from dataflow.operators.general_text.filter import ( BlocklistFilter, # 黑名单过滤 LanguageFilter, # 语言检测 PerspectiveFilter, # 毒性内容检测 NgramFilter # 重复内容检测 )代码数据评估与生成针对代码训练数据DataFlow提供专门的评估算子DataFlow在代码生成任务中支持复杂数学逻辑的验证如直角三角形内切圆比例关系推导代码质量评估维度语法正确性通过Python沙箱执行验证逻辑完整性代码覆盖率分析风格一致性PEP8规范检查安全性评估潜在漏洞检测from dataflow.operators.code.eval import ( CodeQualitySampleEvaluator, # 代码质量评估 CodeSandboxSampleEvaluator, # 沙箱执行验证 CodeTextCompositionSampleEvaluator # 文本-代码组合评估 )数学推理数据评估DataFlow在数学数据处理方面表现优异支持复杂数学问题的质量评估评估算子分类ReasoningDifficultySampleEvaluator题目难度评估ReasoningCategorySampleEvaluator题型分类ReasoningSolvableSampleEvaluator可解性判断 实战应用从理论到生产部署场景一大规模PDF文档知识提取问题如何从海量学术PDF中自动提取结构化QA对DataFlow解决方案# PDF知识清洗管道 from dataflow.pipeline import KnowledgeBaseCleaningPipeline pipeline KnowledgeBaseCleaningPipeline( pdf_source学术论文.pdf, output_formatjsonl, chunk_size1000, overlap200 ) # 执行处理 results pipeline.process()处理流程PDF文本提取与分块关键信息识别与结构化QA对自动生成质量评估与过滤场景二多模态数据质量评估问题如何评估图文配对数据的质量一致性DataFlow多模态评估from dataflow.operators.core_vision import PromptedVQAGenerator from dataflow.operators.general_text.eval import ( BLEUSampleEvaluator, CIDERsampleEvaluator ) # 视觉问答生成 vqa_generator PromptedVQAGenerator( llm_servingllm_serving, image_processorimage_processor ) # 多维度质量评估 bleu_evaluator BLEUSampleEvaluator() cider_evaluator CIDERsampleEvaluator()场景三企业级数据治理平台问题企业如何建立可审计、可复现的数据治理流程DataFlow企业方案版本控制所有数据处理管道Git化管理审计追踪完整的数据处理历史记录质量报告自动生成数据质量分析报告团队协作支持多角色权限管理 性能验证实验效果与基准测试DataFlow-Instruct-10K数据集效果DataFlow生成的10K指令数据集在多个基准测试中表现优异模型数学平均分代码平均分知识平均分Qwen2-7B Base20.166.376.2 DataFlow-Instruct-10K32.466.276.1Qwen2.5-7B Base37.176.576.0 DataFlow-Instruct-10K46.778.676.2数学推理能力提升使用DataFlow-Reasoning-10K数据集微调后模型数学推理能力显著提升训练数据GSM8KMATHAMC23平均分随机10K91.572.365.048.7DataFlow-Reasoning-10K93.972.372.551.6代码生成质量改进DataFlow-Code数据集在代码生成任务中表现突出训练数据HumanEvalMBPP平均分Code-Alpaca-1K71.375.973.6DataFlow-Code-10K73.874.978.9 高级功能自定义算子开发与扩展创建自定义评估算子DataFlow支持用户根据特定需求开发自定义算子from dataflow.core import Operator from typing import Dict, Any class CustomQualityEvaluator(Operator): 自定义质量评估算子 def __init__(self, threshold: float 0.8): super().__init__() self.threshold threshold def process(self, data: Dict[str, Any]) - Dict[str, Any]: 处理单条数据 # 自定义评估逻辑 quality_score self._calculate_quality(data) # 添加评估结果 data[quality_score] quality_score data[passed] quality_score self.threshold return data def _calculate_quality(self, data: Dict[str, Any]) - float: 计算质量分数 # 实现具体的评估算法 return 0.85构建领域专用管道针对特定领域如医疗、金融、法律构建专用数据处理管道from dataflow.pipeline import Pipeline from dataflow.operators import ( MedicalTermExtractor, ClinicalRelationGenerator, HIPAAComplianceFilter ) class MedicalDataPipeline(Pipeline): 医疗数据处理管道 def __init__(self): super().__init__() # 定义处理步骤 self.add_step(MedicalTermExtractor()) self.add_step(ClinicalRelationGenerator()) self.add_step(HIPAAComplianceFilter()) def process(self, input_data): 执行管道处理 return super().process(input_data) 行业认可与学术贡献DataFlow框架及其相关技术已在多个国际顶级会议和竞赛中获得认可学术论文发表ACL 2025《MM-Verify: Enhancing Multimodal Reasoning with Chain-of-Thought Verification》ICDE 2026《Text2SQL-Flow: A Robust SQL-Aware Data Augmentation Framework for Text-to-SQL》KDD 2026《Lets Verify Math Questions Step by Step》国际竞赛获奖ICML 2025自动数学推理挑战赛物理推理赛道第一名2025语言与智能挑战赛北京智源人工智能研究院赛道一等奖合作机构DataFlow由北京大学、香港科技大学、中国科学院、上海人工智能实验室、百川智能、蚂蚁集团等机构联合开发汇聚了学术界和工业界的前沿力量。 学习资源与社区支持官方文档与教程技术文档详细的操作指南和API参考视频教程B站官方频道持续更新示例项目GitHub仓库包含丰富示例社区支持GitHub Issues问题反馈与功能建议Discord社区实时技术交流微信交流群中文用户技术支持生态系统扩展DataFlow拥有完整的生态系统DataFlow-Skills操作技能与最佳实践教程DataFlow-WebUI可视化管道构建工具DataFlow-Ecosystem模块化扩展框架RayOrch基于Ray的高性能分布式调度 开始使用DataFlow快速体验安装基础包pip install open-dataflow运行示例体验预置的数据处理管道定制开发根据需求创建自定义算子部署生产构建企业级数据治理平台最佳实践建议从小规模开始先用小数据集验证管道效果逐步扩展根据效果逐步增加处理复杂度持续优化基于评估结果迭代改进算子版本管理使用Git管理管道配置和算子版本DataFlow不仅是一个工具更是一个完整的数据治理生态系统。无论您是学术研究者、企业开发者还是AI工程师DataFlow都能为您提供从数据准备到质量评估的一站式解决方案让数据真正成为AI模型发展的核心驱动力。立即开始您的数据质量提升之旅# 克隆仓库 git clone https://gitcode.com/gh_mirrors/da/DataFlow # 探索示例 cd DataFlow python -m dataflow.example通过DataFlow让每一次数据处理都成为可追踪、可复现、可优化的科学实验共同推动数据为中心的AI时代向前发展。【免费下载链接】DataFlowEasy Data Preparation with latest LLMs-based Operators and Pipelines.项目地址: https://gitcode.com/gh_mirrors/da/DataFlow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考