AI荒芜时代显卡与智能的遥远距离2005年前后AI在学界还是个冷僻词研究员们为躲避同行冷眼把研究包装成“机器学习”。2008年刚毕业的Bryan Catanzaro带着用GPU跑深度学习的论文参加学术顶会ICML却遭学者冷漠质问“我们这里只讨论高深的数学你拿个打游戏的显卡来干什么”那时极少有人相信笨重、发热的显卡能和人类大脑产生联系。百度经历塑造对开源协作的敬畏为寻找同类Bryan在2014年离职加入百度硅谷AI实验室在那里遇到吴恩达和后来创办Anthropic的Dario Amodei。他最震撼的是中国同事他们开放地开源技术凭直觉推动算法落地。这段两年半的经历让Bryan对底层技术和开源协作充满敬畏。多年后他反驳西方嘲笑中国AI“套壳、抄袭”的舆论称中国在开源协作开放性上是全球领跑者。重回英伟达畅谈大模型与开源趋势如今Bryan重回英伟达担任应用深度学习研究副总裁。在播客中他谈到大模型的硬核算力账单、摩尔定律死透后的技术求生等观点。他认为嘲笑中国AI“套壳抄袭”是偏见中国在“开源协作”上走在世界前面摩尔定律从经济学角度已死加速需靠“极端共同设计”炒作“技术奇点”错误片面4-bit格式预训练易致模型跑飞开源比闭源更安全。开源人工智能的现状与发展动力主持人提到今年开源大放异彩NVIDIA发布Nemotron 3 UltraGLM 5.2也发布。主持人询问Bryan对所处阶段及闭源和开源差距的看法他认为人工智能社区发展迅猛重要的是领域的演进。对于推动开源人工智能进步的动力Bryan认为有需求因素且开放环境开发技术更快社区协作是最佳方式。对于开源生态系统依赖蒸馏闭源模型及Anthropic等机构不鼓励蒸馏行为是否影响开源进步的问题他认为科技社区投入会推动进步人类智慧多元社区导向的人工智能开发会壮大。中国同行在开源合作上的领先地位对于中国模型进步是否受闭源模型启发的问题Bryan以自己在百度工作的经历为例认为说中国“照搬抄袭”错误中国人工智能社区开放成果对世界有益推动了技术进步他鼓励其他实验室发扬开放精神。客户使用开源模型的理由与优势主持人询问客户使用开源模型的理由及优势Bryan表示每家公司有“秘密”人工智能依赖数据出于商业机密等要求公司自己处理数据更好。开放人工智能技术允许定制化满足不同公司需求刺激了对其需求。Bryan的职业经历与发展2008年Bryan加入NVIDIA当时他尝试为人工智能设计并行计算方案。他在研究部门做“另类”工作促成Copperhead和cuDNN诞生。后来吴恩达邀请他去百度他认为百度在应用人工智能于核心业务上领先。在百度他与Dario共事Dario学习快、思考深入、信念坚定。2016年Jensen邀请他回NVIDIA组建应用研究实验室他参与的项目包括DLSS和MegatronMegatron项目帮助行业训练大语言模型奠定了Nemotron项目基础。Nemotron的使命与发展历程Nemotron承担两项使命一是帮助NVIDIA理解构建未来系统确保在摩尔定律终结时代提供加速能力二是支持整个生态系统让各种公司构建部署人工智能。其发展历程中最初与微软合作的项目后被称作Nemotron 1后续打造了多个模型经历了编号混乱等情况目前公司加大投入模型实用性提升。Nemotron联盟的理念与意义三月份成立的Nemotron联盟其理念是在开发过程中与业界合作让成果更有用、易整合。因为Nemotron目标是支持而非主导且此前有与微软合作的经验所以认为与有利益诉求的公司合作让他们为项目做贡献是好方式。Nemotron家族的现状与特点Nemotron家族有Nano、Super、Ultra三个模型分别适配小型、中型、大型部署场景。Nano适合知识储备和推理能力要求低的任务Ultra能力最强Super在成本和智能水平上平衡最好。该家族聚焦agentic推理注重效率如使用4比特运算预训练这需要大量创新。4比特格式在GPU上能提升吞吐量、节省能源但用于预训练棘手易致模型发散。Nemotron的架构与技术特点Nemotron架构是Transformer和Mamba状态空间模型的结合研究证明这种结合能让模型更聪明且有速度优势业界很多模型也采用这种混合方式。它还基于混合专家架构这是一种稀疏性实现形式能让模型按需调用专家子集NVIDIA为此打造NVL72提升了Blackwell在人工智能模型推理上的表现。latent MOE是Nemotron 3家族的创新能减少通信量、增加专家数量。混合专家架构在推理成本和智能水平结合上出色但有内存需求大等缺点。Nemotron 3 Ultra的重要特性Nemotron 3 Ultra有100万token的超长上下文窗口上下文越长模型能解决的问题越具挑战性但推理成本可能增加。对于多步骤的agentic工作流上下文压缩很重要语言模型擅长总结相关内容。多词元预测能利用GPU闲置执行能力不降低准确率还能提升速度NVIDIA努力提升其接受率。多教师蒸馏在Nemotron 3 Ultra上采用多领域同策略蒸馏方法用多个“教师模型”提升学生模型各方面能力有助于团队协作。数据来源与泛化问题在Nemotron语境下公开了训练数据数据来源包括从可购买数据集的公司购买以及合成数据生成。公司尽可能开放数据支持生态系统。对于泛化问题编程领域因有大量学习数据和验证工具人工智能会持续进步其他领域强化学习环境会更复杂多样人工智能会更擅长解决问题。NVIDIA的研究机构组织与运作NVIDIA不按组织架构图运作多个部门的团队参与打造Nemotron以“使命”为主导。公司以开放方式组织工作邀请志愿者参与有正式流程评估想法。算力分配在Nemotron内部有预算和层级结构根据项目需求分配但决策有挑战流程需改进。研究要通过“自我引导”平衡“有用的研究”和“伟大的探索性研究”NVIDIA的“登月计划”是自下而上和自上而下的平衡。对未来走向的看法Bryan不是“奇点论”信徒他认为智能多面向、依赖情境“奇点”想法未考虑情境因素。人工智能会快速发展释放重要能力但转型管理有挑战不过他对人类解决问题的能力有信心认为未来工具是人工智能。他担心公众对技术的看法认为人们对人工智能的接受度随经验增长。安全问题开源与闭源的角色安全是当下关注的问题Fable发布及政府应对体现了对模型安全性的担忧。Bryan认为开放技术更安全因为有更多人参与评估和改进且人工智能领域多样性比单一文化更安全开放的人工智能技术是构建人工智能最安全的方式。