Google花27亿美元追回的人又被挖走了Google工程副总裁、Gemini联合负责人Noam Shazeer宣布他将离开现有职位加入OpenAI。今天Noam Shazeer在X上发文宣布自己将离开Google加入OpenAI。这很可能是今年人工智能领域最重要的一次人才变动因为这位50岁的工程师正是Google下一代最强AI技术Gemini的三位负责人之一。对Gemini来说这无疑是一个残酷的消息。Shazeer不仅是Gemini的联合负责人、Google工程副总裁还是Transformer、T5和Switch Transformer等重要论文的合著者也是稀疏MoE模型的先驱之一。据OpenAI首席研究官Mark Chen发帖内容来看Noam Shazeer将担任OpenAI架构研究负责人。前Ai2高级研究科学家、后训练负责人Nathan Lambert也忍不住调侃OpenAI这下算是解决了他们所谓的“预训练规模问题”。一个反复回到Google、又反复感到挫败的人从Noam Shazeer的LinkedIn履历来看他与Google的关系贯穿了职业生涯的大部分时间。2000年12月他以软件工程师身份加入Google。2012年再次入职Google担任首席软件工程师。2024年8月他重返Google担任工程副总裁兼Gemini联合负责人。而这中间有一段比较戏剧性的创业经历。2021年Shazeer离开Google创办了Character.AI。导火索是Google拒绝发布他参与开发的一款聊天机器人。当时他与Google同事Daniel De Freitas合作开发了一个最初名为Meena的聊天机器人它能够围绕广泛话题展开自然对话。据熟悉相关文件的人士透露Shazeer曾在一份广为流传的备忘录《Meena Eats the World》中预测这款聊天机器人有可能取代Google搜索并创造数万亿美元收入。不止这一件事情实际上他在Google的AI生涯里长期伴随着一种反复出现的挫败感。Shazeer于2000年加入Google时是公司最早的几百名员工之一。当时的Google要求每个人都必须有一位导师Shazeer后来在播客中回忆自己刚加入时什么都不懂什么都去问导师而他的导师正是Jeff Dean。他还开玩笑说并不是Google每个人都什么都懂只是Jeff Dean什么都懂因为很多东西基本都是他写的。Shazeer早年其实就已经在想AI。他在播客中说自己当时加入Google一个朴素想法是先赚一些钱以后就可以长期去做AI研究。后来他也承认Google确实一度成了一个非常适合做AI的地方。2012年他再次加入Google Brain。Shazeer后来在播客中回忆2012年前后他曾离开Google一段时间有一次只是回公司和妻子吃午饭碰巧坐到了Jeff Dean和早期Google Brain团队旁边。Shazeer当时的第一反应是“哇这是一群很聪明的人。”Shazeer再次被这群人吸引Jeff Dean则笑称自己把他“哄回来了”。Shazeer还自嘲说自己似乎每隔12年就会“重新加入一次Google”2000年一次2012年一次2024年又一次。但这段经历里最有代表性的挫败并不只是某个项目没能发布而是一个天才研究员在大公司里不断撞上的机会成本和系统复杂度。Shazeer在播客里提到Larry Page以前常说Google第二大的成本是税最大的成本是机会成本。也就是说真正可惜的不是做错了什么而是明明看到一个巨大机会却没有及时抓住。放在Shazeer身上这种机会成本显得格外刺眼他很早就看到了语言模型、聊天机器人和下一代AI产品的潜力但在Google内部这些想法往往要经过安全、公平、业务、组织和产品化的多重权衡。与此同时大模型研发本身也不是一个“聪明人想到点子就能立刻改变世界”的过程。Shazeer在播客中说小规模研究最理想的状态是早上醒来想到一个主意当天写出来跑一些实验很快看到初步结果。但真正难的是把这些改进放到大系统里。一个小实验看起来有希望放大后未必成立几个看起来各自有效的改进叠在一起也未必能协同工作。他甚至说这种“叠不起来”的情况大约会发生一半。这也是Google式AI研发最令人挫败的地方它拥有世界上最强的研究人员、最庞大的代码库、最先进的TPU和数据中心但越到大规模训练问题越像一团纠缠在一起的线。Shazeer说最大规模实验是无法真正加速的最后仍然是N1的实验只能把一群聪明人放在房间里盯着结果判断到底为什么有效、为什么无效。模型稍微变差一点可能是量化推得太狠可能是数据问题可能是代码里有bug也可能是某个底层系统噪音。更麻烦的是神经网络对噪音很宽容很多错误不会让系统直接崩掉只会让模型悄悄变差。Google花27亿美元追回的人又被挖走了回头去看Shazeer绝对也是AI领域最强的人之一。他进入Google参与的第一个重要项目是构建一套系统用于改进Google搜索引擎的拼写纠错功能。加入Google不久后他就向当时的CEO Eric Schmidt提出希望获得数千颗计算芯片的使用权限。Schmidt在2015年斯坦福大学的一次演讲中回忆Shazeer当时对他说“我要在这个周末之前解决通用知识问题。”那次早期尝试虽然以失败告终但Schmidt相信Shazeer具备打造人类级智能AI的潜力。Schmidt在演讲中说“如果说世界上有谁最有可能做到这件事我能想到的就是他。”2017年Shazeer与另外七位Google研究人员共同发表了论文《Attention Is All You Need》详细描述了一种能在人类给出提示后可靠预测序列中下一个词的计算机系统。这项工作后来成为生成式AI技术的基础。之后Shazeer与Google同事Daniel De Freitas合作开发了一款最初名为Meena的聊天机器人。它可以围绕各种话题自信地与人对话。据熟悉相关文件的人士称Shazeer曾在一份广为流传的备忘录《Meena Eats the World》中预测这款聊天机器人有可能取代Google搜索引擎并创造数万亿美元收入。然而Google高管以安全性和公平性方面的担忧为由拒绝将这款聊天机器人向公众发布。2021年Shazeer和De Freitas离开Google创办了Character.AI。但创业也不顺利公司没有稳定的盈利模式。一年后OpenAI发布ChatGPT证明大众对AI聊天机器人的需求远比许多大公司预想得更强。2023年3月Character.AI完成1.5亿美元融资估值达到10亿美元。Shazeer和团队最初希望人们会愿意为与各种聊天机器人互动付费。这些机器人既可以提供实用建议也可以模仿名人比如Elon Musk或者模仿Percy Jackson这样的虚构人物。Shazeer曾在播客中表示这类产品会对很多孤独或抑郁的人非常有帮助。但随着公司发展Character.AI也遇到了一些偏离创始团队设想的问题。员工越来越多地需要阻止用户进行浪漫角色扮演这类使用方式并不符合Shazeer和De Freitas原本的愿景。同时和许多试图与OpenAI、微软等巨头竞争的AI创业公司一样Character.AI也面临高昂研发成本压力在形成稳定收入来源之前继续烧钱变得越来越困难。2024年的时候Shazeer曾考虑为Character.AI继续融资也接触过潜在买家其中包括Facebook母公司Meta。不过Character.AI最终与Google母公司Alphabet达成交易并在博客中表示自公司创立以来AI行业的格局已经发生了变化。Google为此斥资约27亿美元获得了Character.AI的技术授权Shazeer本人则以副总裁头衔回到Google工作从管理一家拥有数百名员工的公司转向专注于研究并负责管理一个小团队其中包括De Freitas。据报道他持有Character.AI 30%至40%的股份这意味着他个人获得了7.5亿至10亿美元的收益。这次回归让Google士气大振。当时就有网友形容Google员工在X上的反应几乎像是在见证“耶稣复活”。这句夸张的调侃背后恰恰说明了Shazeer在Google AI团队中的特殊地位他不只是一个被高价请回来的明星研究员更像是Google曾经错失、如今又拼命追回的关键人物。但不到两年后剧情又一次反转。Shazeer这次离职有人注意到他的告别措辞显得异常简短没有提到Character.AI没有提到自己留下的团队只用了类似“继续前进”的说法。于是有网友猜测这次离开也许并不只是一次普通跳槽背后可能存在某种被动退出或者至少是一场谈好的体面分手。