前言上一章我们介绍了基于Prompt范式的工具调用方案这一章介绍基于模型微调支持任意多工具组合调用复杂调用的方案。多工具调用核心需要解决3个问题在哪个位置进行工具调用(where), 从众多工具中选择哪一个(Which), 工具的输入是什么(What)。Where Which What我称之为3W原则3H它兄弟哈哈哈哈~其实如何教大模型使用工具和教人类使用工具没啥区别。就像上周末我想给我妈买的可以防弹超重的岩板餐桌按个滑轮需要使用电钻那我学习使用电钻的途径无非有三种基于历史经验我之前都是手动的没用过电动的我凭借自信直接上手结果拧歪了…对应到LLM其实就是本章要提到的工具微调我们让模型先学习在在不同的场景使用什么工具如何使用再利用大模型的迁移泛化能力泛化到更多的场景。从工具说明书中学习我去翻了翻说明书奈何写的太抽象没看懂…对应到LLM简单版的就是上一章的zero-shot prompt方案告诉大模型工具的使用场景和用法升级版就是之后会提到的优化方案我们可以动态召回工具的完整说明书和使用范例作为上文输入模型通过观察他人使用工具来学习最终我打开小红书看短视频学习了下一点就通于是我拥有了可丝滑移动的防弹餐桌对应到LLM简单版就是上一章介绍的few-shot prompt方案我们让LLM看到在其他场景它是如何使用工具的升级版就是之后会提到的动态few-shot prompt的方案。下面我们看下通过微调为模型注入工具使用经验的两个方案Toolformer和GorillaToolformerTALM: Tool Augmented Language ModelsToolformer: Language Models Can Teach Themselves to Use Tools填充式工具使用 InContext制造自监督样本Toolformer是工具调用领域的前辈使用LM监督微调得到可以进行Inline工具调用的模型。解码时模型会在恰当的位置生成API调用的请求并中止解码去调用API得到返回值把返回值拼接到-字符之后再继续模型解码如下Toolformer的创新主要在API调用的样本构造因此我们先来看下样本构造的部分样本Toolformer单一API的样本构造主要包含以下3个步骤Sampling API以QA API为例作者会先编写几个样本作为In-Context得到以下的FewShot指令样本然后针对新的长度为N的输入文本作者会计算每个位置得到前缀的条件解码概率并保留超过阈值的TopK个最优可能出现的位置。然后每个位置基于上文让模型随机解码m次生成m个候选的API调用请求。这样我们就得到了候选样本集每一段文本最多有K个可能进行工具调用的位置且每个位置有至多m个候选请求{c1,…cm}。Executing API Calls执行以上得到的候选请求每个请求得到一个对应的返回值{r1,…rm}。 可以是计算器的结果维基百科的搜索返回等等Filtering API Calls最后是过滤筛选原理是好的工具调用样本应该会让工具调用位置后面的文本解码概率提高Perplexity降低。因此作者计算了在工具调用位置之后所有token的加权条件解码概率。以上加权的权重计算如下离工具调用位置越远权重越小条件解码概率的条件Z分别是[工具调用返回值][工具调用无返回值][无工具调用]这三者中Loss较小的一个,过滤方案是[工具调用工具返回值]的Loss降幅超过阈值则保留该样本整体量级上1个API生成了25K左右的样本用于微调样本长度1024微调使用以上样本生成方案得到多API调用的样本集混合后得到增强训练样本。样本的构建方式是在原始文本中直接插入API调用的语句\(x_{1:i-1},e(c_i,r_i),x_{i:n}\),如下The Nile has an approximate length of QA(What is the approximate length of the Nile?)-6,853 km 6,853 kilometers, the White Nile being its main source这样通过微调模型会学习到在什么位置使用什么样的工具以及工具的请求输入。同时和解码的格式保持一致后文会依赖API调用结果进行解码。微调使用了GPT-J模型Batch128 lr1e-5warmup10%训练了2K step常规的LM Loss.总结Toolformer的创新主要在使用模型的Few-shot理解能力使用少量的人工标注样本制造大量的自监督样本。这样Tooformer理论上可以支持任意的API工具。但Toolformer有一些局限性工具独立论文中每个API调用的样本是独立构造的工具之间没有交互且同一工具的多次调用之间也是独立不依赖上文的调用返回。常规解码没有引入思维链推理限制了最终效果GorillaHuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFaceTaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIsGorillaLarge Language Model Connected with Massive APIshttps://github.com/ShishirPatil/gorillaGorilla在HuggingGPTTaskMatrix.AI这两个API调用的前辈的基础上加入了指令微调来提升API调用效果。Gorilla支持TorchHubTensorflowHubHuggingface总共1645个API且可以泛化到新的API上。样本Gorilla使用Self-Instruct来构建指令样本用的是GPT4模型。构建方案是以上3个API Hub, 每个Hub各人工编写6个指令样本。每一轮随机从6个样本中采样3个作为Few-Shot并通过指令让GPT4随机生成10个真实世界的使用case总共生成16450个指令样本生成的指令样本如下同时Gorilla加入了Retriever-Aware也就是在以上的指令样本中指令后面会拼接上API的使用说明:“Use this API documentation for reference: retrieved_API_doc_JSON”这样在推理阶段会先根据用户的指令召回最相关、最新的API使用说明。降低模型幻觉的同时使得模型有更好的泛化性可以适应全新的API接口或者已有API接口的参数变化。微调推理微调的部分比较常规就是在LLama-7B模型上使用以下参数在8*A100(40G)进行指令微调。在推理阶段会同样加入API Retriever根据用户的指令召回最相关的API使用说明和用户输入拼接喂进模型推理。召回方案作者尝试了BM25和GPT的Embedding不过不同召回方案的效果和API本身相关没有谁一定更好这一说。效果上微调后7B的LLama模型使用GPT Embedding召回工具说明在工具调用上的准确率可以显著超越GPT3.5使用Prompt方案的调用效果总结对比上一章基于Prompt的方案Self AskReAct和这一章基于微调的方案ToolformerGorilla指令微调的方案有以下优势planning效果更好微调方案比Prompt方案在复杂问题规划上效果更好尤其适合本身In-Context能力有限的小模型工具调用准确率更高针对复杂工具调用的准确率更高不受模型迭代影响GPT3.5-GPT4的升级让不少基于Prompt指令的应用们需要集体进行prompt调整因为模型指令变了…以及不同模型之间的指令或有不同。但微调方案不受这一点影响因为指令微调本身就是对齐的过程因此更robust缺点自然是没有开箱即用的Prompt方案灵活所以不妨用prompt方案来进行前期测试后期用微调来提升效果。但其实不论是prompt方案还是微调方案其实都是LLM Agent应用中的工具调用规划这一个子模块要真正搭建可以落地的大模型应用需要更系统的整体设计这块我们放在下一章说~最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案五、面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 解密Prompt系列13. LLM Agent-指令微调方案: Toolformer Gorilla
前言上一章我们介绍了基于Prompt范式的工具调用方案这一章介绍基于模型微调支持任意多工具组合调用复杂调用的方案。多工具调用核心需要解决3个问题在哪个位置进行工具调用(where), 从众多工具中选择哪一个(Which), 工具的输入是什么(What)。Where Which What我称之为3W原则3H它兄弟哈哈哈哈~其实如何教大模型使用工具和教人类使用工具没啥区别。就像上周末我想给我妈买的可以防弹超重的岩板餐桌按个滑轮需要使用电钻那我学习使用电钻的途径无非有三种基于历史经验我之前都是手动的没用过电动的我凭借自信直接上手结果拧歪了…对应到LLM其实就是本章要提到的工具微调我们让模型先学习在在不同的场景使用什么工具如何使用再利用大模型的迁移泛化能力泛化到更多的场景。从工具说明书中学习我去翻了翻说明书奈何写的太抽象没看懂…对应到LLM简单版的就是上一章的zero-shot prompt方案告诉大模型工具的使用场景和用法升级版就是之后会提到的优化方案我们可以动态召回工具的完整说明书和使用范例作为上文输入模型通过观察他人使用工具来学习最终我打开小红书看短视频学习了下一点就通于是我拥有了可丝滑移动的防弹餐桌对应到LLM简单版就是上一章介绍的few-shot prompt方案我们让LLM看到在其他场景它是如何使用工具的升级版就是之后会提到的动态few-shot prompt的方案。下面我们看下通过微调为模型注入工具使用经验的两个方案Toolformer和GorillaToolformerTALM: Tool Augmented Language ModelsToolformer: Language Models Can Teach Themselves to Use Tools填充式工具使用 InContext制造自监督样本Toolformer是工具调用领域的前辈使用LM监督微调得到可以进行Inline工具调用的模型。解码时模型会在恰当的位置生成API调用的请求并中止解码去调用API得到返回值把返回值拼接到-字符之后再继续模型解码如下Toolformer的创新主要在API调用的样本构造因此我们先来看下样本构造的部分样本Toolformer单一API的样本构造主要包含以下3个步骤Sampling API以QA API为例作者会先编写几个样本作为In-Context得到以下的FewShot指令样本然后针对新的长度为N的输入文本作者会计算每个位置得到前缀的条件解码概率并保留超过阈值的TopK个最优可能出现的位置。然后每个位置基于上文让模型随机解码m次生成m个候选的API调用请求。这样我们就得到了候选样本集每一段文本最多有K个可能进行工具调用的位置且每个位置有至多m个候选请求{c1,…cm}。Executing API Calls执行以上得到的候选请求每个请求得到一个对应的返回值{r1,…rm}。 可以是计算器的结果维基百科的搜索返回等等Filtering API Calls最后是过滤筛选原理是好的工具调用样本应该会让工具调用位置后面的文本解码概率提高Perplexity降低。因此作者计算了在工具调用位置之后所有token的加权条件解码概率。以上加权的权重计算如下离工具调用位置越远权重越小条件解码概率的条件Z分别是[工具调用返回值][工具调用无返回值][无工具调用]这三者中Loss较小的一个,过滤方案是[工具调用工具返回值]的Loss降幅超过阈值则保留该样本整体量级上1个API生成了25K左右的样本用于微调样本长度1024微调使用以上样本生成方案得到多API调用的样本集混合后得到增强训练样本。样本的构建方式是在原始文本中直接插入API调用的语句\(x_{1:i-1},e(c_i,r_i),x_{i:n}\),如下The Nile has an approximate length of QA(What is the approximate length of the Nile?)-6,853 km 6,853 kilometers, the White Nile being its main source这样通过微调模型会学习到在什么位置使用什么样的工具以及工具的请求输入。同时和解码的格式保持一致后文会依赖API调用结果进行解码。微调使用了GPT-J模型Batch128 lr1e-5warmup10%训练了2K step常规的LM Loss.总结Toolformer的创新主要在使用模型的Few-shot理解能力使用少量的人工标注样本制造大量的自监督样本。这样Tooformer理论上可以支持任意的API工具。但Toolformer有一些局限性工具独立论文中每个API调用的样本是独立构造的工具之间没有交互且同一工具的多次调用之间也是独立不依赖上文的调用返回。常规解码没有引入思维链推理限制了最终效果GorillaHuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFaceTaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIsGorillaLarge Language Model Connected with Massive APIshttps://github.com/ShishirPatil/gorillaGorilla在HuggingGPTTaskMatrix.AI这两个API调用的前辈的基础上加入了指令微调来提升API调用效果。Gorilla支持TorchHubTensorflowHubHuggingface总共1645个API且可以泛化到新的API上。样本Gorilla使用Self-Instruct来构建指令样本用的是GPT4模型。构建方案是以上3个API Hub, 每个Hub各人工编写6个指令样本。每一轮随机从6个样本中采样3个作为Few-Shot并通过指令让GPT4随机生成10个真实世界的使用case总共生成16450个指令样本生成的指令样本如下同时Gorilla加入了Retriever-Aware也就是在以上的指令样本中指令后面会拼接上API的使用说明:“Use this API documentation for reference: retrieved_API_doc_JSON”这样在推理阶段会先根据用户的指令召回最相关、最新的API使用说明。降低模型幻觉的同时使得模型有更好的泛化性可以适应全新的API接口或者已有API接口的参数变化。微调推理微调的部分比较常规就是在LLama-7B模型上使用以下参数在8*A100(40G)进行指令微调。在推理阶段会同样加入API Retriever根据用户的指令召回最相关的API使用说明和用户输入拼接喂进模型推理。召回方案作者尝试了BM25和GPT的Embedding不过不同召回方案的效果和API本身相关没有谁一定更好这一说。效果上微调后7B的LLama模型使用GPT Embedding召回工具说明在工具调用上的准确率可以显著超越GPT3.5使用Prompt方案的调用效果总结对比上一章基于Prompt的方案Self AskReAct和这一章基于微调的方案ToolformerGorilla指令微调的方案有以下优势planning效果更好微调方案比Prompt方案在复杂问题规划上效果更好尤其适合本身In-Context能力有限的小模型工具调用准确率更高针对复杂工具调用的准确率更高不受模型迭代影响GPT3.5-GPT4的升级让不少基于Prompt指令的应用们需要集体进行prompt调整因为模型指令变了…以及不同模型之间的指令或有不同。但微调方案不受这一点影响因为指令微调本身就是对齐的过程因此更robust缺点自然是没有开箱即用的Prompt方案灵活所以不妨用prompt方案来进行前期测试后期用微调来提升效果。但其实不论是prompt方案还是微调方案其实都是LLM Agent应用中的工具调用规划这一个子模块要真正搭建可以落地的大模型应用需要更系统的整体设计这块我们放在下一章说~最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案五、面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】