将 AI 从花哨的演示变成高并发的生产环境这个过程充满了隐性的技术债务和基础设施挑战。周末原型里调个 OpenAI API和给 5 万并发用户提供稳定低于 200 毫秒延迟、优雅降级、每次输出都可靠的服务完全是两码事。这很少是“模型本身的问题”而是决策、取舍和架构的问题。在 DigitalOcean Deploy 2026 大会上DigitalOcean 邀请到了来自Workato、Hippocratic AI和ISMG的工程负责人。由 DigitalOcean 工程高级经理 Karnik Modi 主持嘉宾们分享了他们在规模化运行推理负载时积累的经验。这场讨论聚焦于如何在实时交互中管理 P99 延迟峰值、限制 Agent 权限以防止“管理员”漏洞、以及确保基础设施在生产流量到来之前就已具备策略感知能力。这些洞见超越了模型性能本身直指可靠的大规模 AI 所需的编排和安全护栏。为大规模而生的嘉宾们每位嘉宾所在的公司都处于生产级 AI 的前沿——从一个能跑的原型到一个服务真实用户的可靠系统这之间的差距本身就是最大的挑战。无论是跨数千个企业应用编排自主 Agent还是在实时临床语音对话中将延迟视为患者安全问题抑或是在全球网络安全媒体网络中部署 AI 驱动的智能这些团队都直面了那些只有规模化之后才会浮现的基础设施、治理和架构决策。Oscar Wu — Workato 研究实验室 AI 研究技术负责人Workato 是一个企业集成平台连接了超过 14,000 个应用已编排超过一万亿次自动化任务。其 AI 重心已转向 Agentic 编排——即在无需编写代码的情况下跨企业系统构建、部署和治理能够推理、行动并执行多步工作流的自主 AI Agent。在生产规模下Workato 的 AI 研究实验室直面 Agent 治理、大规模工具库中的工具选择准确性以及如何在持续负载下保持推理快速且经济高效等难题。Workato 的 AI 研究实验室在 DigitalOcean 的 AI-Native Cloud 上运行其推理负载在 NVIDIA Hopper GPU 上实现了推理成本降低 67%、首字延迟加快 77%。Debo Datta — Hippocratic AI 联合创始人Hippocratic AI 为医疗保健领域构建以安全为核心的生成式 AI 语音 Agent承担出院后随访、慢病管理、用药审查和临床试验协调等面向患者的任务。由于每次临床对话可能包含数百轮实时交互公司的核心基础设施挑战是在大规模下保持亚秒级延迟确保语音交互富有共情力且自然而不是像机器人一样生硬。Hippocratic AI 是 DigitalOcean 推理引擎的设计合作伙伴并在该平台上运行其面向患者的负载已支撑超过 2000 万次患者交互延迟降低 40%。Dan Grosu — ISMG CTO/CISOISMG信息安全媒体集团运营着 38 家专注于网络安全、IT 和 AI 的媒体机构服务于全球银行、医疗保健和政府等行业的安全专业人士。该公司构建了自己的企业 AI 平台 Apollo处理数千页访谈记录和会议内容生成网络安全市场情报和战略评估。从“要不要上 AI”到“基础设施扛不扛得住”嘉宾们一致认为过去 18 个月里围绕 AI 的讨论已经变了。光是“有 AI”已经不够了现在的焦点是你的技术栈是否真的能在大规模下支撑住它。“AI 不再是竞争优势了。它是竞争性基础设施。问题已经从‘我们该不该上线 AI 功能’变成了‘我们的企业技术栈真的能跟 AI Agent 配合工作吗’” —Oscar Wu, Workato当 AI 变成基础设施支撑它的 GPU 账单就不再是实验性的开支项而是核心运营成本。对于 Hippocratic AI 这样聚焦医疗健康的公司AI 是核心产品但由于庞大的 GPU 需求它同时也是个巨大的成本中心。挑战在于如何把这笔成本转化为安全、可靠的收入来源。10 个请求叫测试100 万个才叫考验在受控环境里一切都看起来很高效率。但嘉宾们指出了那些只有在真实生产流量到来时才会浮现的特定“瓶颈”。工具一多Agent 就懵了当一个 AI Agent 能访问 5 个工具时它跑得很完美。当它能访问超过 50 个工具时就开始出问题了。Oscar 指出Agent 经常会选错工具——因为名字听起来太像了或者没有一套有治理策略的执行规则来约束它。延迟的代价不止是“卡顿”两个字在 Hippocratic AI延迟不仅仅是一个技术指标——它还是个患者安全问题。他们以安全为核心的 LLM 处理多轮临床对话任何延迟都会侵蚀有效护理所需的共情和信任。“流量低的时候你根本测不出极限。只有规模化之后你才会注意到 P99 延迟。如果你在一个有 200 轮对话的临床电话中延迟不太好的话每一通电话你都能感受到卡顿。” —Debo Datta, Hippocratic AI架构是活物别把它做死了扩展 AI 推理是一个不断重新设计技术栈的持续循环。随着新架构不断涌现最终胜出的将是那些基础架构已经为 Agent 就绪、具备策略感知能力、并结构化地建立了信任的团队。“让 AI 给你带来惊喜。如果你的数据整理好了你就处于一个绝佳的位置可以利用 AI 取得巨大的成功。” —Dan Grosu, ISMG别让你的 Agent 拥有管理员权限随着推理变得越来越分布式安全风险也随之上升。ISMG 的 Dan 指出虽然 AI 是加速交付的“超能力”但它也带来了新的责任。如果基础设施没有得到妥善管理每一次发出的提示词都可能是一个安全风险。Oscar 进一步补充道“别让你的 AI Agent 成为管理员。连你的实习生都不是管理员。你需要把 Agent 当作用户的按需操作委托给它限定时间和范围的访问权限。”Dan 指出随着 AI 与更多系统集成安全失效的“爆炸半径”会越来越大。他们迁移到像 DigitalOcean 这样可靠的供应商正是因为需要可追溯性、日志记录以及确保所有“操作杆”仍然在人类控制之下的确定性。最冒险的 AI 策略就是没有 AI 策略很多决策者仍然对将 AI 深度集成到现有技术栈中犹豫不决。嘉宾们警告说这种“观望”态度往往会导致后期出现难以逾越的差距。“AI 不会帮你掩盖你乱七八糟的企业技术栈它只会放大它。风险不是聊天机器人晚了六个月而是你在让 AI 安全地干实事的运营模式上晚了两年。” —Oscar Wu, WorkatoDan 补充说最成功的公司会是那些在真正需要 AI 之前就已经把数据和流程结构化好了的公司。如果你的数据是有组织的AI 就能立刻产生投资回报。Dan 和他的团队已经构建了 Agent 来创建一个“基于 Agent 的防火墙”以实时阻止复杂的安全威胁。无论是 Workato 在数千个企业应用中治理 Agent还是 Hippocratic AI 在临床语音通话中保持亚秒级延迟抑或是 ISMG 部署基于 Agent 的防火墙来应对实时威胁它们的共同主线都是一样的规模化推理是一个基础设施问题而不是模型问题。这正是 DigitalOcean 的 AI-Native Cloud 要解决的问题一个集推理、计算、数据和 Agent 运行时于一体的统一平台让团队专注于交付产品而不是把一堆供应商拼凑在一起。如果上面这些经验教训让你感同身受那么这套技术栈已经准备好了随时等你来用。直接联系卓普云AI Droplet了解更多。