
自主系统22课完整指南ai-engineering-from-scratch长时程智能体与2026安全栈【免费下载链接】ai-engineering-from-scratchLearn it. Build it. Ship it for others.项目地址: https://gitcode.com/GitHub_Trending/ai/ai-engineering-from-scratchai-engineering-from-scratch是一套面向新手的开源 AI 工程课程第 15 阶段自主系统用 22 课讲透长时程智能体与 2026 年AI 安全栈智能体如何连续运行数小时、如何设置预算护栏、如何用紧急停止开关与宪法式 AI 保证安全。无需大量代码跟着读就能建立完整的知识框架 为什么长时程智能体是新赛道的核心2023 年的聊天机器人一问一答2026 年的前沿智能体可以连续运行数小时。METR 的时间地平线基准显示当前模型以 50% 可靠性可完成专家需 14 小时的任务且这一能力大约每 7 个月翻倍。运行时间拉长后四个问题被同时放大维度聊天机器人时代长时程智能体时代上下文单窗口即可需要压缩、检查点与分层记忆信任读一遍输出即可需审计整条执行轨迹失败模式能力不足漂移、死循环、奖励作弊成本可忽略一次失控循环可能烧掉一个月预算这门课正是围绕这些新问题展开的入口在 phases/15-autonomous-systems/README.md一句话定位Agents that run without human intervention — safely.22 课全景图四个板块看懂课程体系课程按能力 → 改进 → 护栏 → 治理递进完整计划见 ROADMAP.md。1️⃣ 能力前沿它们能做什么01 长时程智能体METR 时间地平线的由来与含义是整个阶段的起点02 STAR 家族推理 / 03 AlphaEvolve 进化式编码 / 04 达尔文-哥德尔机自我改进的三种形态05 AI Scientist v2 / 06 自动化对齐研究智能体开始替人类做科研2️⃣ 自我改进边界在哪里07 递归自我改进 / 08 有界自我改进什么情况下越改越强是危险的09 编码智能体格局 / 10 Claude Code 权限模式 / 11 浏览器智能体真实产品的安全设计12 持久化执行任务中断后如何恢复3️⃣ 运行时护栏预算、开关与回滚13 成本控制器给智能体设花销速度上限14 紧急停止开关与金丝雀令牌预算管不了做什么这三类检测器管15 先提议后提交 / 16 检查点与回滚高危动作必须可撤销17 宪法式 AI / 18 Llama Guard把安全规则写进系统本身4️⃣ 治理与评估2026 安全栈顶层19 Anthropic RSP / 20 OpenAI 预备性与 DeepMind 前沿安全框架 / 21 METR 外部评估 / 22 CAIS 社会风险四大前沿实验室的评估体系横向对比 重点课拆解紧急停止开关如何设计第 14 课 phases/15-autonomous-systems/14-kill-switches-canaries/docs/en.md 给出了三层检测器组合值得新手记住停止开关Kill Switch一个存放在智能体修改范围之外的布尔开关如 Redis 键、特性标志可整体禁用智能体熔断器Circuit Breaker更细粒度当检测到连续 5 次相同工具调用这类模式时暂停特定路径并升级给人类金丝雀令牌Canary Token一枚智能体没有正当理由去碰的诱饵凭证一旦触碰立即告警核心思想一句话不信任智能体的自我汇报所有检测器都在它够不到的地方运行。配套模拟器在 phases/15-autonomous-systems/14-kill-switches-canaries/code/main.py无需部署就能直观看到三种检测器触发。新手如何开始学习这 22 课 推荐路径01 → 13 → 14 → 16 → 19一条能力到护栏的最小主线其余按需展开。从 phases/15-autonomous-systems/01-long-horizon-agents/docs/en.md 开始建立时间地平线心智模型约 45 分钟学完预算与开关两课再回头看第 10 课的权限模式阶梯理解度会完全不同治理板块19-22适合作为收尾phases/15-autonomous-systems/19-anthropic-rsp/docs/en.md 和 phases/15-autonomous-systems/20-openai-preparedness-deepmind-fsf/docs/en.md 帮你看懂各家2026 安全栈的异同每课都带可运行的 Python 模拟器和一份可复用的产出物skill/技能文件学完即得小结长时程智能体的能力每 7 个月翻倍而安全设计不能靠事后补课。这 22 课的价值在于把能力、护栏、治理当成同一张安全栈来看——先懂它多强再学怎么管住它。项目免费开源、MIT 协议适合从第 14 阶段智能体基础进阶而来的工程师也适合想搞懂 AI 安全现状的普通读者 ✅【免费下载链接】ai-engineering-from-scratchLearn it. Build it. Ship it for others.项目地址: https://gitcode.com/GitHub_Trending/ai/ai-engineering-from-scratch创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考