独家揭秘NVIDIA-Nemotron-3-Ultra-550B-A55B-GenRM的14.8万亿 tokens训练数据是如何打造的【免费下载链接】NVIDIA-Nemotron-3-Ultra-550B-A55B-GenRM项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-GenRMNVIDIA-Nemotron-3-Ultra-550B-A55B-GenRM作为一款强大的生成式奖励模型GenRM其背后依托的14.8万亿tokens训练数据是模型性能的关键所在。这份庞大的数据集究竟是如何构建的呢本文将为你揭开其中的神秘面纱。数据规模与构成53.8 TiB的海量资源 整个训练数据的总规模达到了惊人的53.8 TiB换算成tokens数量便是14.8万亿。这一数据量是通过对226个不同的数据集进行整合与处理得到的涵盖了从2013年到2026年期间收集的各类文本数据。在数据的划分上100%的资源都投入到了模型的训练过程中没有专门划分测试集和验证集这种做法有助于模型充分学习数据中的知识和模式。数据来源多元化的信息渠道 基础预训练语料模型的知识基石模型的基础训练依赖于Nemotron-3-Ultra语料库其中包含了多个重要的数据集Nemotron-CC-v2v2.1拥有9.1T tokens是从Common Crawl中筛选出的海量英文网络数据还包括2.5T新的原创、翻译和合成改写内容。Nemotron-CC-Code-v1包含427.9B tokens是通过Lynx LLM管道从Common Crawl中提取的高质量代码 tokens能很好地保留代码结构和方程式。Nemotron-Pretraining-Code-v1v2v3总计1.7T tokens是经过多阶段筛选、去重的精选GitHub代码参考以及大规模合成代码数据。公开数据集丰富的通用知识除了专用语料库模型还采用了大量公开可用的数据集如GSM8K、CC-NEWS、Common Crawl、Wikimedia等。这些数据集涵盖了数学问题、新闻资讯、网页数据、维基百科内容等多个领域为模型提供了广泛的通用知识。NVIDIA爬取和抓取的在线资源NVIDIA的研究团队通过合法途径从网络上爬取和抓取了部分数据包括English Common Crawl文本类型规模达3.36T tokens收集于2025年4月8日。Multilingual Common Crawl文本类型812.7B tokens收集于2025年5月1日包含阿拉伯语、中文、丹麦语等15种语言。GitHub Crawl文本类型747.4B tokens收集于2025年4月29日通过GitHub REST API和Amazon S3 API获取并经过严格的许可证筛选。第三方私有非公开数据集为了进一步提升模型性能NVIDIA还使用了一些第三方的私有非公开数据集如Global Regulation、TAUS Translation Memory、Scale HLE、HackerRank Coding以及用于搜索的RL数据使用了Gemini 3和GPT-5模型。NVIDIA私有非公开数据集NVIDIA内部也构建了一些私有数据集如Simple Minesweeper、Simple Sudoku、Multitool Typewriter Hard等这些数据集在模型的特定能力训练方面发挥了重要作用。数据处理与合成提升数据质量与多样性 ✨数据收集与标注方法训练数据的收集和标注采用了混合方式结合了自动化、人工和合成手段。这种多元化的方法有助于确保数据的质量和多样性满足模型训练的多方面需求。合成数据的生成NVIDIA通过多种方式生成了大量的合成数据以弥补真实数据的不足并增强数据的针对性。例如Nemotron-Pretraining-Fact-Seeking以FineWiki为种子数据集使用Qwen3-30B-A3B-Instruct-2507模型生成规模达35.0B tokens。Nemotron-Pretraining-Legal基于多个法律相关的种子数据集如CommonPile中的caselaw_access_project_filtered子集、California Code of Regulations等使用Qwen3-235B-A22B-Thinking-2507模型生成规模为4.3B tokens。这些合成数据在数学、法律、逻辑、经济学等多个专业领域对模型进行了针对性训练极大地提升了模型的专业能力。总结打造高质量训练数据的秘诀NVIDIA-Nemotron-3-Ultra-550B-A55B-GenRM的14.8万亿tokens训练数据的打造是一个系统而复杂的工程。它通过整合多元化的数据源包括基础预训练语料、公开数据集、爬取的在线资源以及私有数据集并结合先进的数据处理和合成技术构建了一个规模庞大、质量优良、多样性丰富的训练数据体系。正是这样的数据集为模型的卓越性能奠定了坚实的基础。如果你想深入了解该模型可以通过以下方式获取更多信息克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-GenRM参考技术报告NVIDIA Nemotron 3 Ultra Technical Report【免费下载链接】NVIDIA-Nemotron-3-Ultra-550B-A55B-GenRM项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-GenRM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考