一、文章主要内容总结该研究针对传统优化方法在定义模糊、高维复杂的设计空间中表现不佳的问题，提出了一种基于大型语言模型（LLMs）的自动化设计优化框架AUTO。该框架将设计优化视为无梯度搜索问题，通过两个协作的LLM智能体（Strategist/策略师与Implementor/执行者）实现迭代式优化：核心架构：策略师负责平衡探索（创新）与利用（改进、组合）策略，基于历史设计数据（高得分、低得分、近期设计）生成具体实现指令；执行者负责执行指令、修复约束错误（如编译、运行有效性），生成符合要求的设计方案。应用场景：聚焦GPU代码优化这一关键领域，在两个典型任务中验证效果——化学动力学积分（燃烧CFD的核心瓶颈）和稠密矩阵乘法（科学计算、机器学习的基础基准）。性能表现：生成的优化方案性能接近甚至超越专家实现，例如化学动力学任务中通过混合精度计算、寄存器优化等策略达成优异效果；搜索效率达到贝叶斯优化的50%-70%；成本显著低于人工优化：单轮优化耗时约8小时，成本0.78-159美元（取决于LLM型号），而中级薪资开发者人工优化成本约435-480美元，成本降低至少16倍。现存局限：对小众GPU库（如WMMA）缺乏文档支持导致编译成功率有限（矩阵乘法56.94%、化学动力学44.87%）；高非线性设计空间中收敛稳定性仍需提升。 Automated Design Optimization via Strategic Search with Large Language Models
一、文章主要内容总结该研究针对传统优化方法在定义模糊、高维复杂的设计空间中表现不佳的问题，提出了一种基于大型语言模型（LLMs）的自动化设计优化框架AUTO。该框架将设计优化视为无梯度搜索问题，通过两个协作的LLM智能体（Strategist/策略师与Implementor/执行者）实现迭代式优化：核心架构：策略师负责平衡探索（创新）与利用（改进、组合）策略，基于历史设计数据（高得分、低得分、近期设计）生成具体实现指令；执行者负责执行指令、修复约束错误（如编译、运行有效性），生成符合要求的设计方案。应用场景：聚焦GPU代码优化这一关键领域，在两个典型任务中验证效果——化学动力学积分（燃烧CFD的核心瓶颈）和稠密矩阵乘法（科学计算、机器学习的基础基准）。性能表现：生成的优化方案性能接近甚至超越专家实现，例如化学动力学任务中通过混合精度计算、寄存器优化等策略达成优异效果；搜索效率达到贝叶斯优化的50%-70%；成本显著低于人工优化：单轮优化耗时约8小时，成本0.78-159美元（取决于LLM型号），而中级薪资开发者人工优化成本约435-480美元，成本降低至少16倍。现存局限：对小众GPU库（如WMMA）缺乏文档支持导致编译成功率有限（矩阵乘法56.94%、化学动力学44.87%）；高非线性设计空间中收敛稳定性仍需提升。