MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery
论文总结:MLEvolve —— 面向自动化机器学习算法发现的自演化框架一、研究背景与问题大型语言模型(LLM)智能体越来越多地被应用于科学发现和机器学习工程(MLE)等长时程任务中,持续自演化能力成为这类任务的核心需求。然而,现有MLE智能体面临三大关键挑战:分支间信息隔离:现有搜索方法多采用线性或树状结构,信息被限制在单一分支内,难以跨分支传递成功经验;无记忆搜索:大多数搜索框架无法积累和复用历史经验,每次决策孤立进行;缺乏层次化控制:多数方法将策略规划与代码实现耦合在一次生成中,导致迭代效率低下,修改难以控制。二、核心内容:MLEvolve框架MLEvolve是一个基于LLM的多智能体自演化框架,通过三个核心组件协同工作,实现了端到端的机器学习算法自动发现:(一)渐进式蒙特卡洛图搜索(Progressive MCGS)将传统树搜索扩展为图结构,通过基于图的跨分支信息流打破了分支间的信息隔离。具体而言,在搜索的Selection阶段引入基于熵的渐进探索调度,使搜索策略能够自适应地从广泛探索向集中利用过渡,避免了固定探索策略导致的局部最优陷阱。