尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

把人类点击数据当bug,为AI智能体重造网络搜索基础设施

把人类点击数据当bug,为AI智能体重造网络搜索基础设施 Sequoia Capital的播客节目Training Data近期邀请到Parag Agrawal他曾担任Twitter CEO在将Twitter出售给马斯克之前离职此后回归创业创立了Parallel Web Systems。本期节目由Sequoia合伙人Sonya Huang和Andrew Reed主持话题聚焦于Agrawal正在构建的智能体搜索基础设施以及他对互联网商业模式即将发生的根本性变革的判断。Agrawal的核心押注简单而激进AI智能体使用搜索的频次将是人类的一千倍。这不是一个渐进式的量变而是需要从零重建整套技术栈和商业逻辑的量级跳跃。他用三年时间带着这个判断正在悄悄重造搜索引擎的底层。1. 人类点击数据是个bug在Google统治搜索二十年的逻辑里有一个核心假设人类的点击行为是最好的相关性信号。哪个结果被点击最多哪个结果就最好。整个搜索排名的优化都围绕着这个反馈循环运转。Agrawal把这个假设翻过来了。我们在Parallel的观点是人类点击数据是个bug。 当搜索的使用者是AI智能体而不是人类时人类点击产生的反馈信号不仅没用还会让模型学坏。智能体做搜索应该依赖智能体的反馈而不是人类的反馈。这个判断在三年前他创业时就确立了但当时面临的最大障碍之一恰恰是如何大规模获取高质量的评分数据来训练排名模型传统做法是雇人工打标成本高昂且难以规模化。大型语言模型的出现改变了这道题——专家级别的评分数据现在可以由模型生成成本大幅下降。更重要的是智能体作为一个独立的客户群体真正出现了这让Parallel的整个商业逻辑变得可验证。2. 先做智能体后建索引从零开始造搜索引擎最让外界质疑的问题是谷歌和必应花了二十年、几百亿美元才建起全量网络索引你一家早期公司凭什么从头干起Agrawal的回答是他从一开始就没打算先建索引再找客户。Parallel第一个上线的产品不是搜索引擎而是搜索智能体search agent。 这个区别很关键。当用户提交一个需要深度研究的查询他们愿意等一分钟甚至十分钟。在这段等待时间里智能体可以实时爬取网页用推理时的计算量来弥补索引不完整的缺口。这其实是一种资源置换用推理时的算力换取对离线爬取索引的依赖。牺牲了延迟换来了在索引尚不完整时就能开始服务真实客户。在客户使用过程中Parallel不断积累真实的查询数据逐步扩充索引范围——用业务增长来驱动基础设施建设而不是反过来。早期客户来自几个明显有批量研究需求的垂直领域保险核保和理赔处理、销售数据增富、量化金融的数据采集。这些场景的共同特点是之前都在花钱雇人在搜索引擎上做大量重复性信息采集工作。Parallel用智能体替代了这批人工同时收集到了大量真实的智能体搜索评估数据——这才是他们最需要的东西。3. 这家公司到底是什么你们是AI公司还是基础设施公司按某些定义这简直就是个新型实验室neolab。Andrew Reed在访谈中直接发问。Agrawal的回答明确而坚定Parallel不是新型实验室。他对新型实验室的定义是输出物是一个模型。Parallel的输出物不是模型而是模型的放大器。别人发布了更好的模型对我们来说是好事因为这打开了更多我们能发挥价值的场景。 而对于其他试图做通用基础模型的公司更强的竞争模型意味着要爬更高的山。Parallel的核心技术问题Agrawal用一个极其简洁的框架描述每一次搜索查询本质上是从一万亿个网页里给我找对的一千个token。为了在极短时间内完成这件事他们需要把信息跨存储层级高效组织训练专门的小型排名模型并在极有限的计算/延迟预算内最大化输出质量。这里涉及大量研究性工作——如何拿一个预训练基础模型改造它的架构来适配这个新问题如何在固定的延迟窗口内分配算力。但这与训练超大规模基础模型是完全不同的方向Parallel的目标是把信息压缩进极小的排名模型而不是把模型做大。4. 200毫秒把搜索速度压进智能体的节奏访谈中有一个数字值得单独拿出来说。Agrawal提到就在录制前一周Parallel刚刚发布了新产品Turbo——将智能体搜索的响应时间从此前的3秒压缩到了200毫秒。3秒和200毫秒的差距对人类用户来说可能感受不大。但对智能体来说这个差距决定了整个系统的架构能否成立。当一个AI智能体在完成任务的过程中需要反复调用搜索每次查询耗时3秒意味着整个任务流程的速度瓶颈卡死在搜索这一环200毫秒意味着搜索可以被当作一个接近实时的工具来调用智能体的工作节奏不会被打断。在技术上这意味着必须放弃读时堆算力的策略转而在离线阶段把更多的信息压缩进内存层级训练出能在极短时间内做出高质量排序决策的专用模型。这是一个系统层面的重新设计而不是单纯的工程优化。Agrawal的表述里有一个细节到上周为止我们还给自己3秒钟来投入算力做实时处理。这周开始只有200毫秒了。 这意味着整个技术取舍框架需要重新校准在同样的延迟预算里离线的信息组织工作必须做到更高的完整性才能让实时的排序模型不需要太多实时算力就能找到正确答案。这次对话止步于搜索的技术层面商业模式和内容出版生态的部分尚未在字幕中展开。但从Agrawal的技术判断来看他在押注的是搜索基础设施的一次完整换代不只是把旧引擎接上AI接口而是从反馈数据、索引策略到延迟预算每一层都重新设计以匹配智能体而非人类的使用方式。在他看来人类搜索时代积累的那套基础设施对智能体来说是历史包袱不是财富。
返回列表