在 1000 毫秒内教导孩子实时 AI 辅导工具架构背后的三大挑战与解决方案工程领域 2026 年 7 月 7 日我们着手打造首款面向 4 - 9 岁儿童的 AI 辅导工具教授他们数学和阅读。若要让 AI 真正教导五岁的孩子就必须将教学法融入工程设计中。孩子可等不了慢悠悠的回复也看不懂聊天界面而且一旦模型说错话孩子也无法当作没听见。我们想分享一些在构建实时 AI 辅导工具过程中影响架构决策的经验。对话中两秒的停顿对孩子来说和开发者甚至和在电话里与自动客服交流的成年人的感受截然不同。短短几秒孩子的注意力就会分散学习也会随之停止。优秀的教师能不假思索地应对这种情况。即便他们会先不给出答案让孩子自己思考但也会立刻对孩子做出回应。教学就是要在当下采用恰当的方法而大多数方法并非直接给出答案。当我们决定为 4 - 9 岁的孩子打造 AI 辅导工具时我们希望构建的是真正能教学的辅导工具而非仅仅是快速回复的聊天机器人。我们深知背后的限制条件很苛刻而且这是必须要满足的每一轮交互都要在亚秒级内做出响应。大多数智能体通过推理预算来权衡速度和质量。而我们的架构必须将教学法融入辅导工具中并实时回应孩子。摒弃标准智能体循环教师会不断决定如何与学生互动比如是开口说话、在白板上书写、玩游戏还是完全转换话题。如今智能体的标准模式是工具循环。大语言模型LLM输出一个或多个工具调用等待它们执行观察结果然后决定下一步行动。所以直接的构建教学智能体的方法就是为教师可能采取的每个行动创建一个工具。但工具循环存在延迟问题。前沿模型生成第一个 token 需要 2 - 3 秒然后以每秒约 30 个 token 的速度解码。我们的操作平均需要几十个 token。再加上往返延迟和音频播放时间标准循环意味着屏幕上每句话或每次变化之间会有 3 - 4 秒的停顿。在早期的一次测试中我们亲眼目睹了这种情况。一个六岁的男孩等待智能体思考然后问道他怎么什么都不做什么时候开始啊太无聊了。 —— 6 岁儿童在同一轮测试中另一个孩子发现她只需在部分时间集中注意力就能跟上进度。延迟让她学会了对辅导工具充耳不闻而那一刻她也停止了学习。简单的解决办法是使用更小、更快的模型但这会引发范围问题。教学是一项广泛的任务。在一堂课中辅导工具可能要在几十个行动中做出选择而最困难的决定往往是不直接给出答案而是给出提示、提出小问题或者让孩子经历足够的思考从而自己获得领悟。较小的模型难以在如此广泛的任务中遵循指令。我们早期使用小模型的智能体虽然响应迅速但却总是直接给出答案。每次这样做都错失了学习的时机。因此我们构建了一个自定义框架以平衡指令遵循、延迟和灵活的行动空间。模型在一次响应中流式输出多个行动。解释器在模型仍在生成后续行动时就对每个行动进行解析和执行。孩子只需等待约 30 个 token 的第一个行动而无需等待整个响应完成。将生成与执行分离还为我们带来了另外两个好处。我们可以根据情况改变可用的行动。例如当屏幕上出现问题时智能体将获得用于搭建学习支架的指令和选项而非直接给出答案。而且我们可以在不影响正常流程延迟的情况下验证每个行动。只有当流中产生无效行动时我们才会中断并重新生成否则执行不会暂停。这并非没有代价。掌控这个循环意味着我们必须自行构建可观测性和追踪系统而不能依赖现有框架。而且我们是在逆流而行前沿模型在工具使用模式上进行了大量的后训练。如果未来的模型速度足够快我们的框架设计为可以被更简单的循环所取代。经验教训智能体框架正朝着后台工作的方向发展在这种情况下速度和思考之间的权衡相对容易。而实时学习则处于另一个极端。要以对话的速度进行教学就必须自己掌控循环。辅导工具预测孩子行动真正的教师既能反思学生刚刚的表现又能预测他们接下来的行动。同一堂课教上一百遍就能看出其中的规律。但同时教师也了解“这个”孩子知道他们在哪里会遇到困难什么能激发他们的兴趣以及今天可能会被什么绊倒。教师会带着一个计划开始课程并根据实际情况随时调整。我们将与孩子互动的智能体称为“对话者”。早期的实验表明较小的行动空间能让智能体更好地遵循指令。因此我们构建了第二个智能体“规划者”用于根据课程目标回顾对话并管理对话者的上下文。第一个版本是同步运行的当然速度太慢。在固定轮数后过期的计划并不可靠让对话者请求新计划也不可行。有效的方法是使用异步规划者它在孩子思考或说话时运行就像教师在对话间隙进行反思和预测一样。在这些间隙中需要做出关键决策是挑战孩子还是让他们成功是继续讲解当前概念还是进入下一个。教师凭直觉做出这些决策而模型则需要通过推理来实现异步运行正是为其争取了时间。异步也意味着两个智能体同时运行它们在不进行协调的情况下读写共享状态。因此我们将每一轮交互、每一次点击和每一次界面更新都作为不可变事件存储在只追加日志中。两个智能体可以独立读写无需相互等待。这种轨迹格式还能实现另一种预测。每当对话者提出封闭式问题如填空问题、玩“我发现了”游戏、完成方程式等时框架会推测孩子可能的答案并在从轨迹分叉出的每个分支上预先生成相应的回复。当孩子给出答案时我们将其与某个分支匹配并直接播放回复而无需等待新的模型调用。这种方法的代价是成本和偶尔的误判。规划者使用更强大、更昂贵的模型并且每一轮都会运行。而且预测毕竟只是预测。有时本应受到挑战的孩子却轻易获得了成功。很难判断对话者的错误是自身失误还是源于错误的计划。我们目前还没有明确的信号来决定何时该信任计划何时该关注当下的实际情况。经验教训孩子实时与应用程序交互而智能体则按离散的步骤运行所以要利用孩子思考或说话的时间。让规划者回顾过去、预测未来让对话者处理当前情况使缓慢的教学推理过程与实时交互同时进行。当孩子的下一步行动可预测时在他们回答之前就生成相应的回复。无人察觉的安全检查大多数 AI 产品会在模型调用或智能体交互时按顺序设置防护栏。当 token 流通过内容过滤器时用户不会注意到开发者也愿意等待命令行工具调用的自动审核。但在与五岁孩子的实时对话中没有任何隐藏的余地也无法撤销已说的话孩子无法当作没听到辅导工具说的内容。安全系统必须在每一轮交互中对任何行动进行把关。我们的安全分类器是一个大语言模型运行需要约 500 - 1000 毫秒。等到安全检查完成后再让对话者做出响应每一轮都会增加一秒的延迟这是我们无法承受的。这也是我们的框架将生成与执行分离的另一个优势。安全分类器会阻止执行但不会阻止生成。孩子一说完话我们就同时启动分类器和一个小模型并行生成对话者的第一个行动。这个小模型会迅速做出“急切回复”回应或认可孩子说的话例如“你喜欢恐龙我也喜欢”。虽然基于规则的检查速度更快、成本更低但无法适应五岁孩子的实际说话方式。我们在安全策略中添加的每个类别都会增加 token 数量并且需要重新调整非确定性的分类器。有时转录错误会让分类器产生误判触发误报。我们会审查这些情况并利用它们来提高智能体对孩子的理解能力。通常当“急切行动”生成时分类器已经返回了安全结果。这个检查会解除对对话者生成回复的限制同时“急切行动”正在执行。尽管进行了多次模型调用但孩子听到的是连贯的一轮交互。但比延迟更难解决的问题是当“急切行动”是错误选择时该怎么办。在与孩子的日常对话中回应是很好的方式但在某些情况下这与教学法的建议背道而驰。例如孩子在课程进行中提到同学骂了他。那种将“我喜欢恐龙”回应为“你喜欢恐龙我也喜欢”的方式可能会把骂人的话重复给孩子听。因此每当安全分类器标记孩子的这一轮交互时我们就会放弃“急切行动”。对于这一轮对话者会得到不同的指导不要重复那个骂人的话承认孩子肯定感觉不好并建议孩子和大人谈谈。注意我们的安全系统遵循与儿童发展专家共同制定的政策。我们的安全系统具体如何工作将在另一篇文章中详细介绍。经验教训在安全检查上对执行进行把关而非对生成进行限制以避免延迟。当检查失败时用适合孩子情况的指导取代反射式回复。打造 AI 辅导工具需解决更多问题要为孩子打造 AI 辅导工具不能仅仅选择合适的模型、设置好提示就万事大吉。这需要做的远不止这些而是要设计一个实时系统让它有足够的时间在事实和教学法上都做到准确无误 —— 有时间在答案不利于学习时不直接给出有时间在孩子思考完之前选择下一步行动有时间在孩子听到回复之前重新审视快速做出的反应。这些方面单独来看似乎微不足道但只有当所有这些部分协同工作时才能打造出一个能提前思考、优雅应对问题并且让孩子感觉它“就在身边”而不是在后面追赶他们的辅导工具。如果这些问题让你感兴趣或者你想了解更多关于为孩子构建实时 AI 辅导工具的实际情况我们很乐意与你交流。我们正在招聘。开创孩子专属辅导未来每个孩子都值得拥有一位理解他们的老师。我们正在开创这样的未来。[了解更多关于 Ello 的信息](/about)Ello 是一家公共利益公司© 2026 Ello Technology, Inc. 保留所有权利。